KR20170086005A - 거리 차이를 이용한 증강현실 제공 방법 - Google Patents

Abstract

본 발명의 거리 차이를 이용한 증강현실 제공 방법에 따르면, 시선방향이 동기화된 카메라와 별도의 거리인식센서를 구비하며 상기 카메라를 통해 현실세계를 촬영한 실제현실 데이터 상의 지정된 객체 영역에 가상 데이터를 중첩하여 표시하는 증강현실장치에서 실행되는 방법에 있어서, 상기 카메라를 통해 지정된 피사체 인식 범위의 실제현실 데이터를 입력받고, 상기 실제현실 데이터의 색상과 채도를 판독하여 가상 데이터를 중첩하여 표시할 객체 영역을 1차 인식하고, 상기 실제현실 데이터를 입력받는 카메라의 피사체 인식 범위와 상기 거리인식센서의 거리인식 범위를 동기화시키고, 상기 카메라의 피사체 인식 범위와 동기화된 거리인식 범위 내에서 상기 실제현싱 데이터 상의 1차 인식된 객체 영역을 포함하는 거리인식센서의 센싱 영역을 결정하고 상기 거리인식센서를 통해 상기 센싱 영역으로 지정된 신호를 송출한 후 센싱되는 신호를 근거로 상기 센싱 영역에 존재하는 피사체의 거리를 인식한 거리인식 값을 측정하여 상기 센싱 영역과 매칭된 실제현실 데이터 상의 실제 객체 영역을 인식하며, 상기 실제현실 데이터 상의 인식된 실제 객체 영역에 지정된 가상 데이터를 중첩하여 표시한다.

Description

거리 차이를 이용한 증강현실 제공 방법{Method for Providing Augmented Reality by using Distance Difference}

본 발명은, 시선방향이 동기화된 카메라와 별도의 거리인식센서를 구비하며 상기 카메라를 통해 현실세계를 촬영한 실제현실 데이터 상의 지정된 객체 영역에 가상 데이터를 중첩하여 표시하는 증강현실장치에서 실행되는 방법에 있어서, 상기 카메라를 통해 지정된 피사체 인식 범위의 실제현실 데이터를 입력받고, 상기 실제현실 데이터의 색상과 채도를 판독하여 가상 데이터를 중첩하여 표시할 객체 영역을 1차 인식하고, 상기 실제현실 데이터를 입력받는 카메라의 피사체 인식 범위와 상기 거리인식센서의 거리인식 범위를 동기화시키고, 상기 카메라의 피사체 인식 범위와 동기화된 거리인식 범위 내에서 상기 실제현싱 데이터 상의 1차 인식된 객체 영역을 포함하는 거리인식센서의 센싱 영역을 결정하고 상기 거리인식센서를 통해 상기 센싱 영역으로 지정된 신호를 송출한 후 센싱되는 신호를 근거로 상기 센싱 영역에 존재하는 피사체의 거리를 인식한 거리인식 값을 측정하여 상기 센싱 영역과 매칭된 실제현실 데이터 상의 실제 객체 영역을 인식하며, 상기 실제현실 데이터 상의 인식된 실제 객체 영역에 지정된 가상 데이터를 중첩하여 표시하는 거리 차이를 이용한 증강현실 제공 방법에 관한 것이다.

디스플레이 장치를 통해 표시되는 현실은 카메라를 통해 실제 세계를 촬영한 실제현실(Full Reality)과 실제 세계에는 존재하지 않으나 컴퓨터를 통해 만들어진 가상 세계를 표현하는 가상현실(Virtual Reality)로 나뉘며, SF(Science Fiction) 영화와 같이 미리 정해진 장면 시나리오에 따라 블루스크린 앞에서 실제현실을 촬영하고 여기에 가상현실을 조합한 크로마키현실(Chroma-Key Reality)이 존재하며, 크로마키현실은 분류 상 가상현실에 속한다.

최근 정보 통신 지속적인 기술의 발전으로 실제현실 상의 객체에 실시간으로 가상현실 데이터를 표시하는 증강현실(Augmented Reality)이 제안되었다. 증강현실은 SF영화와 같이 미리 정해진 장면 시나리오가 없다는 점, 실제현실을 블루스크린 앞에서 촬영하지 않는 점에서 크로마키현실과 구분된다.

상기 증강현실에서 실제현실 상에 가상현실 데이터를 표시할 객체를 결정하는 방법으로는, 실제현실에 마커(Marker)를 표시한 후 상기 마커를 인식하여 상기 마커 상에 가상현실 데이터를 표시하는 마커 방식 증강현실과, 실제현실에 마커를 표시하지 않고 실제현실 상의 객체를 직접 인식하여 가상현실 데이터를 표시하는 마커리스(Markerless) 증강현실이 존재한다. 현재 마커 방식 증강현실은 각각의 마커를 이용하여 몇 가지 시범 서비스가 제공되고 있으나 마커 구성에 대한 표준화가 전혀 존재하지 않으며, 마커리스 증강현실은 스튜디오에서 미리 정해진 객체를 촬영한 실제현실을 이용하는 경우를 제외하고는 객체 인식의 불안정성으로 인해 시범되지 못하고 있다.

또한, 상기 증강현실에서 실제현실에 가상현실 데이터를 표시하는 방법으로는, 카메라를 통해 촬영되어 저장매체에 저장된 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법과, 카메라를 통해 실시간 촬영되는 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법이 존재하며, 상술된 방법 이외에 카메라를 통해 실제현실을 촬영하지 않고 인간의 눈이 그 너머의 실제현실을 바라보는 투명한 물건(예컨대, 안경, 고글, 유리창 등)을 투명 디스플레이로 이용하고 센서 기술을 통해 상기 인간의 눈이 투명 디스플레이 너머의 객체를 인식하여 상기 투명 디스플레이 상에 가상현실 데이터를 표시하는 방법이 이론적으로 존재한다.

한편 상기 마커리스 방식으로 객체를 인식하는 경우, 객체를 인식할 수 있는 조건이 설정된 스튜디오에서 촬영된 실제현실 데이터를 판독하는 경우 상기 가상현실 데이터를 출력할 객체를 비교적 용이하게 인식할 수 있지만, 상기와 같은 조건이 설정되지 않은 환경 또는 실제현실 데이터에 노이즈가 발생한 환경에서 촬영된 실제현실 데이터를 판독하여 객체를 인식하는 것은 매우 난해하다.

상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 시선방향이 동기화된 카메라와 별도의 거리인식센서를 구비하며 상기 카메라를 통해 현실세계를 촬영한 실제현실 데이터 상의 지정된 객체 영역에 가상 데이터를 중첩하여 표시하는 증강현실장치에서 실행되는 방법에 있어서, 상기 카메라를 통해 지정된 피사체 인식 범위의 실제현실 데이터를 입력받는 제1 단계와 상기 실제현실 데이터의 색상과 채도를 판독하여 가상 데이터를 중첩하여 표시할 객체 영역을 1차 인식하는 제2 단계와 상기 실제현실 데이터를 입력받는 카메라의 피사체 인식 범위와 상기 거리인식센서의 거리인식 범위를 동기화시키는 제3 단계와 상기 카메라의 피사체 인식 범위와 동기화된 거리인식 범위 내에서 상기 실제현싱 데이터 상의 1차 인식된 객체 영역을 포함하는 거리인식센서의 센싱 영역을 결정하고 상기 거리인식센서를 통해 상기 센싱 영역으로 지정된 신호를 송출한 후 센싱되는 신호를 근거로 상기 센싱 영역에 존재하는 피사체의 거리를 인식한 거리인식 값을 측정하여 상기 센싱 영역과 매칭된 실제현실 데이터 상의 실제 객체 영역을 인식하는 제4 단계 및 상기 실제현실 데이터 상의 인식된 실제 객체 영역에 지정된 가상 데이터를 중첩하여 표시하는 제5 단계를 포함하는 거리 차이를 이용한 증강현실 제공 방법을 제공함에 있다.

본 발명에 따른 거리 차이를 이용한 증강현실 제공 방법은, 시선방향이 동기화된 카메라와 별도의 거리인식센서를 구비하며 상기 카메라를 통해 현실세계를 촬영한 실제현실 데이터 상의 지정된 객체 영역에 가상 데이터를 중첩하여 표시하는 증강현실장치에서 실행되는 방법에 있어서, 상기 카메라를 통해 지정된 피사체 인식 범위의 실제현실 데이터를 입력받는 제1 단계와 상기 실제현실 데이터의 색상과 채도를 판독하여 가상 데이터를 중첩하여 표시할 객체 영역을 1차 인식하는 제2 단계와 상기 실제현실 데이터를 입력받는 카메라의 피사체 인식 범위와 상기 거리인식센서의 거리인식 범위를 동기화시키는 제3 단계와 상기 카메라의 피사체 인식 범위와 동기화된 거리인식 범위 내에서 상기 실제현싱 데이터 상의 1차 인식된 객체 영역을 포함하는 거리인식센서의 센싱 영역을 결정하고 상기 거리인식센서를 통해 상기 센싱 영역으로 지정된 신호를 송출한 후 센싱되는 신호를 근거로 상기 센싱 영역에 존재하는 피사체의 거리를 인식한 거리인식 값을 측정하여 상기 센싱 영역과 매칭된 실제현실 데이터 상의 실제 객체 영역을 인식하는 제4 단계 및 상기 실제현실 데이터 상의 인식된 실제 객체 영역에 지정된 가상 데이터를 중첩하여 표시하는 제5 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 거리 차이를 이용한 증강현실 제공 방법에 있어서, 상기 제3 단계는, 상기 실제현실 데이터를 입력받는 카메라의 줌인 또는 줌아웃에 의해 변경된 피사체 인식 범위와 상기 거리인식센서의 거리인식 범위를 동기화시키는 단계를 포함하여 이루어지는 것을 특징으로 한다.

본 발명에 따른 거리 차이를 이용한 증강현실 제공 방법에 있어서, 상기 지정된 신호는, 인체의 감각기관을 통해 인지하기 난해한 광 신호, 전자파 신호, 음파 신호 중 적어도 하나의 신호를 포함하여 이루어지는 것을 특징으로 한다.

본 발명에 따른 거리 차이를 이용한 증강현실 제공 방법에 있어서, 상기 제4 단계는, 상기 거리인식센서의 거리인식 범위와 동기화된 카메라부의 피사체 인식 범위를 근거로 상기 센싱 영역의 거리인식 값을 상기 실제현실 데이터의 픽셀 영역에 매핑 적용하여 픽셀 영역 별 거리 값을 산출하고 상기 픽셀 영역 별 거리 값을 근거로 상기 실제현실 데이터 상의 실제 객체 영역을 인식하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

본 발명에 따른 거리 차이를 이용한 증강현실 제공 방법은, 시선방향이 동기화된 카메라와 별도의 거리인식센서를 구비하며 상기 카메라를 통해 현실세계를 촬영한 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 증강현실장치에서 실행되는 방법에 있어서, 상기 카메라를 통해 피사체 인식 범위의 실제현실 데이터를 입력받는 제1 단계와 상기 실제현실 데이터의 색상과 채도를 판독하여 상기 실제현실 데이터 상에서 객체가 존재 가능한 객체 영역을 1차 인식하는 제2 단계와 상기 실제현실 데이터를 입력받는 카메라의 줌인 또는 줌아웃에 따라 변경된 피사체 인식 범위와 상기 거리인식센서의 거리 센싱을 위한 거리인식 범위를 동기화시키는 제3 단계와 상기 카메라의 피사체 인식 범위와 동기화된 거리인식 범위를 지닌 상기 거리인식센서의 동기화된 거리인식 범위 내에서 상기 1차 인식된 객체 영역에 대응하는 피사체의 거리를 인식하여 상기 실제현실 데이터 상에 존재하는 실제 객체에 대응하는 객체 영역을 2차 인식하는 제4 단계 및 상기 2차 인식된 객체 영역에 대응하는 실제현실 데이터 상에 지정된 가상현실 데이터를 표시하는 제5 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 거리 차이를 이용한 증강현실 제공 방법에 있어서, 상기 거리인식 범위를 분할하여 n(n>1)개의 거리인식 영역을 결정하는 단계와 상기 거리인식센서를 통해 상기 n개의 거리인식 영역에 대한 n개의 거리인식 값을 측정하는 단계 및 상기 n개의 거리인식 영역과 상기 피사체 인식 범위에서 촬영된 실제현실 데이터의 픽셀 영역을 매칭시켜 상기 실제현실 데이터에 대한 픽셀 영역 별 거리 값을 산출하는 단계를 더 포함하며, 상기 제4 단계는, 상기 1차 인식된 객체 영역에 포함된 픽셀 영역 별 거리 값을 비교하여 상기 거리 값이 기 설정된 범위 내에서 유사한 픽셀 영역을 포함하는 객체 영역을 2차 인식하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

본 발명에 따른 거리 차이를 이용한 증강현실 제공 방법에 있어서, 상기 n개의 거리인식 영역은, 상기 피사체 인식 범위에 대한 픽셀 영역과 매칭되도록 결정되거나, 상기 거리인식 범위를 가로 세로 균등 영역으로 분할하여 결정되거나, 상기 피사체 인식 범위에 포함된 색상 값과 채도 값을 기준으로 기 설정된 범위 내에서 유사한 색상 값과 채도 값을 갖는 픽셀 영역과 매칭되어 결정되는 것을 특징으로 한다.

본 발명에 따른 거리 차이를 통해 객체를 인식하는 증강현실 장치는, 카메라와 거리인식 센서를 구비하며, 현실세계를 촬영한 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 증강현실 장치에 있어서, 상기 카메라를 통해 피사체 인식 범위의 실제현실 데이터를 입력하는 실제현실 입력부와, 상기 실제현실 데이터의 색상/채도를 판독하여 상기 실제현실 데이터의 객체 영역을 1차 인식하는 객체 인식부(1)와, 상기 카메라의 피사체 인식 범위와 거리인식 센서의 거리인식 범위를 동기화 시키는 인식 범위 결정부와, 상기 거리인식 범위를 분할하여 n(n>1)개의 거리인식 영역을 결정하는 인식 영역 결정부와, 상기 거리인식 센서를 통해 상기 n개의 거리인식 영역에 대한 n개의 거리인식 값을 측정하는 거리 측정부와, 상기 n개의 거리인식 영역과 상기 피사체 인식 범위에서 촬영된 실제현실 데이터의 픽셀 영역을 매칭시켜 상기 실제현실 데이터에 대한 픽셀 영역 별 거리 값을 산출하는 거리 산출부와, 상기 1차 인식된 객체 영역에 포함된 픽셀 영역 별 거리 값을 비교하여 상기 거리 값이 기 설정된 범위 내에서 유사한 픽셀 영역을 포함하는 객체 영역을 2차 인식하는 객체 인식부(2)를 구비한다.

본 발명에 따른 거리 차이를 통해 객체를 인식하는 증강현실 장치는, 상기 실제현실 데이터와 상기 산출된 픽셀 영역 별 거리 값을 연결하여 저장하는 데이터 저장부를 더 구비할 수 있다.

본 발명에 따른 거리 차이를 통해 객체를 인식하는 증강현실 장치에 있어서, 상기 n개의 거리인식 영역은, 상기 피사체 인식 범위에 대한 픽셀 영역과 매칭되도록 결정되거나, 상기 거리인식 범위를 가로/세로 균등 영역으로 분할하여 결정되거나, 상기 피사체 인식 범위에 포함된 색상/채도 값을 기준으로 기 설정된 범위 내에서 유사한 색상/채도 값을 갖는 픽셀 영역과 매칭되어 결정될 수 있다.

본 발명에 따르면, 마커리스 방식으로 객체를 인식할 수 있는 조건이 만족되지 않는 환경에서 촬영된 실제현실 데이터 또는 노이즈가 발생하여 마커리스 방식으로 객체를 인식할 수 없는 실제현실 데이터로부터 객체 간(또는 객체와 배경 간) 거리차이를 통해 가상현실 데이터를 출력할 객체를 명확하게 판별할 수 있는 이점이 있다.

도 1은 본 발명의 실시 방법에 따른 증강현실 장치 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따라 거리 차이를 통해 객체를 인식하는 과정을 도시한 도면이다.
도 3은 본 발명의 실시 방법에 따라 거리 차이를 통해 객체를 인식하는 구성을 예시한 도면이다.
도 4는 본 발명의 실시 방법에 따라 거리 차이를 통해 객체를 인식하는 예시도이다.

이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

아울러 하기에 도시되는 실시예에서 본 발명의 기술적 특징을 보다 명확하게 설명하기 위해 각 용어의 말미에 "(숫자)" 또는 "(영문이니셜)"과 같은 형태의 식별부호를 첨부하여 설명할 것이나, 상기 식별부호는 각 용어를 식별하기 위한 것일 뿐 상기 식별부호에 의해 각 용어가 다른 기능과 역할을 수행하는 것으로 구별 또는 한정되는 것은 결코 아님을 명백하게 밝혀두는 바이다.

결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.

도면1은 본 발명의 실시 방법에 따른 증강현실 장치(100) 구성을 도시한 도면이다.

보다 상세하게 본 도면1은 카메라와 거리인식 센서를 구비하며, 현실세계를 촬영한 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 증강현실 장치(100)에서 상기 카메라의 피사체 인식 범위와 거리인식 센서의 거리인식 범위를 동기화 시킨 후, 상기 거리인식 범위를 분할하여 n(n>1)개의 거리인식 영역을 결정하여 상기 거리인식 센서를 통해 n개의 거리인식 값을 측정하고, 상기 n개의 거리인식 영역과 실제현실 데이터의 픽셀 영역을 매칭시켜 상기 실제현실 데이터에 대한 픽셀 영역 별 거리 값을 산출하여 상기 실제현실 데이터 상의 객체를 인식하는 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 증강현실 장치(100) 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

본 발명의 증강현실 장치(100)는 실제현실 데이터를 획득하는 기능, 가상현실 데이터를 획득하는 기능, 상기 실제현실 데이터로부터 가상현실 데이터를 표시할 객체를 결정하는 기능, 상기 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하여 출력하는 기능을 구비한 장치의 총칭으로서, 상기 실제현실 데이터를 획득하는 방식, 가상현실 데이터를 획득하는 방식, 객체를 결정하는 방식 및 상기 객체에 가상현실 데이터를 표시하는 방식에 의해 한정되지 아니한다. 예를들어, 상기 가상현실 데이터는 장치 내 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 미리 준비된 하나 이상의 폴리곤(Polygon) 데이터와 텍스쳐(Texture) 데이터를 조합하여 실시간 생성될 수 있다. 상기 객체에 가상현실 데이터를 표시하는 방식은 실제현실 데이터와 가상현실 데이터를 조합한 하나의 출력 데이터를 생성하여 표시하는 방식, 출력 데이터에 실제현실 계층(Layer)와 가상현실 계층을 구비하고 실제현실 데이터는 실제현실 계층에 표시하고 가상현실 데이터는 가상현실 계층에 표시하는 방식, 투명 디스플레이 너머의 객체 위치에 가상현실 데이터만 표시하는 방식이 사용될 수 있다.

또한, 상기 증강현실 장치(100)는 장치를 구성하는 구조에 의해 한정되지 아니한다. 예를들어, 상기 증강현실 장치(100)는 하나의 케이스 내에 각 구성부가 통합 구비된 독립 장치 형태, 연결된 두개 이상의 장치에 각 구성부가 분리되어 구비된 연동 장치 형태, 특정 물건/건물/공간에 설치된 형태 등으로 구현될 수 있다.

도면1을 참조하면, 상기 증강현실 장치(100)는, 제어부(105), 메모리부(135) 및 출력부(110)를 구비하며, 실제현실 데이터를 획득하는 방식에 따라 카메라부(130)를 더 구비하고, 가상현실 데이터를 획득하는 방식에 따라 통신부(120)를 더 구비하고, 실제현실 데이터 상의 객체를 결정하는 방식에 따라 센서부(125)를 더 구비하고, 사용자 조작을 위한 조작부(115)를 더 구비할 수 있다.

상기 제어부(105)는 물리적으로 프로세서와 실행 메모리와 버스를 포함하며, 기능적으로 상기 증강현실 장치(100)에 구비된 프로그램이 상기 실행 메모리로 로드되어 상기 프로세서에 의해 연산되도록 처리하는 기록매체 기능을 수행한다. 이에 본 도면1은 상기 증강현실 장치(100)에 구비되는 프로그램 구성부를 편의상 상기 제어부(105) 내에 도시하여 설명하기로 한다.

상기 메모리부(135)는 비휘발성 메모리를 포함하며, 기능적으로 상기 제어부(105)로 로딩될 프로그램 코드와 상기 프로그램 코드가 사용하는 데이터 셋트를 저장/유지하는 저장매체 기능을 수행한다. 여기서, 상기 프로그램 코드는 상기 증강현실 장치(100)의 기본 동작을 운영/제어하는 시스템 프로그램 코드와, 상기 증강현실 장치(100)에 구비되는 각종 애플리케이션 서비스를 제공하는 응용 프로그램 코드를 포함한다.

본 발명의 실시 방법에 따르면, 상기 메모리부(135)는 상기 가상현실 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(135)는 상기 가상현실 데이터를 획득하는 가상현실 획득수단의 기능을 수행할 수 있다.

상기 출력부(110)는 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 출력장치를 포함하며, LCD와 같은 일반 출력장치와 안경, 고글, 유리창과 같은 투명 출력장치 중 어느 하나를 포함할 수 있다.

상기 카메라부(130)는 광학부와 CCD(Charge Coupled Device)로 구성된 카메라로부터 래스터(Raster) 기반의 실제현실 데이터를 비트맵 방식으로 독출하는 장치를 포함한다. 여기서, 상기 실제현실 데이터는 이미지 데이터 또는 동영상 데이터를 포함할 수 있다. 본 발명에 따르면, 상기 카메라부(130)는 상기 획득되는 실제현실 데이터 중 센서 입력에 필요한 특정 데이터만 선택적으로 획득하는 센서부(125)의 기능을 더 수행할 수 있다.

본 발명의 실시 방법에 따르면, 상기 카메라부(130)는 상기 실제현실 데이터를 실시간 획득하는 실제현실 획득수단의 기능을 수행하며, 피사체 인식 범위를 동적으로 결정하는 줌인/줌아웃 기능을 내장할 수 있다.

본 발명의 실시 방법에 따르면, 상기 카메라부(130)는 피사체의 거리를 인식하는 거리인식 센서와 통합되거나, 또는 시선 방향이 동기화된다.

상기 통신부(120)는 어느 하나의 통신 규격과 프로토콜에 따라 유선 통신망과 무선 통신망 중 어느 하나의 통신망에 접속하는 통신모듈을 포함하며, 상기 통신망을 서버(또는 장치)와 통신채널을 연결하거나 또는 다른 증강현실 장치(100)와 통신채널을 연결하는 기능을 수행한다.

본 발명의 실시 방법에 따르면, 상기 통신부(120)는 통신망 상의 서버(또는 장치)에 저장된 가상현실 데이터를 수신하는 가상현실 획득수단의 기능을 수행할 수 있다.

상기 센서부(125)는 거리인식 센서로부터 아날로그 신호 또는 디지털 신호 형태의 센서신호를 획득하는 센서모듈을 포함한다. 상기 센서는 광학 방식, 화상 입력 방식, 전자파 방식, 객체 연동 방식, 사운드 판독 방식 중 어느 하나의 센서 방식을 통해 객체의 거리를 센싱한다.

여기서, 상기 광학 방식 거리인식 센서는 육안으로 식별이 난해하며 인체에 무해한 광선(예컨대, 적외선)을 현실세계 공간에 주사하고, 상기 현실세계 공간 내 객체를 통해 반사되는 광선을 인식하여 객체의 거리를 센싱하는 센서를 포함한다.

상기 화상 입력 방식 거리인식 센서는 CCD(Charge Coupled Device) 소자를 포함하는 카메라를 통해 현실세계 공간 내 화상 데이터를 입력하고, 상기 화상 데이터를 판독하여 상기 화상 데이터 내 포함된 상기 현실세계 공간 내 객체의 거리를 센싱하는 센서를 포함한다.

상기 전자파 방식 거리인식 센서는 상기 현실세계 공간 내 객체에 전자파 송출장치가 구비된 경우, 상기 객체로부터 송출되는 전자파 신호를 수신하고, 삼각측량 방식으로 상기 객체의 거리를 센싱하는 센서를 포함한다.

상기 객체 연동 방식 거리인식 센서는 상기 현실세계 공간 내 객체에 자신의 거리를 센싱하는 센서모듈과 상기 센서모듈에 의해 센싱된 센싱 데이터를 상기 증강현실 장치(100)로 전송하는 통신모듈이 구비된 경우, 상기 센서부(125)에서 객체와 통신채널을 연결하고, 상기 통신채널을 통해 상기 객체로부터 상기 객체의 센서모듈을 통해 센싱된 센싱 데이터를 수신 및 판독하여 상기 객체의 거리를 센싱하는 센서를 포함한다.

상기 사운드 판독 방식 거리인식 센서는 사람의 귀에는 들리지 않는 사운드(예컨대, 초음파)를 현실세계 공간에 주사하고, 상기 현실세계 공간 내 객체를 통해 반사되는 사운드를 인식 및 판독하여 상기 객체의 거리를 센싱하는 센서를 포함한다.

그러나, 상기 거리인식 센서가 상술된 방식의 센서로 한정되는 것은 결코 아니며, 당업자에 따라 상기 거리인식 센서는 다양하게 변형하여 실시할 수 있으며, 본 발명은 상기 변형 가능한 모든 실시예를 포함한다.

본 발명의 실시 방법에 따르면, 상기 센서부(125)는 피사체를 인식하여 실제현실 데이터를 입력하는 카메라부(130)와 통합되거나, 또는 시선 방향이 동기화된다.

상기 조작부(115)는 상기 증강현실 장치(100)에 사용자 조작이 필요한 경우, 상기 사용자 조작을 입력받는 장치를 포함한다. 상기 조작부(115)는 키 버튼을 구비하여 사용자 조작에 필요한 정보를 키 입력받는 키 입력 모듈과, 상기 출력부(110)와 연동하여 통해 사용자 조작에 필요한 정보를 입력받는 터치 스크린 모듈을 포함하며, 상기 카메라부(130) 또는 센서부(125)와 연동하여 사용자의 손 동작, 몸 동작 및 눈 움직임 중 어느 하나를 인식하여 사용자 조작에 필요한 정보를 입력받는 사용자 인식 모듈을 더 포함할 수 있다.

본 발명의 실시 방법에 따르면, 상기 카메라부(130)의 피사체 인식 범위를 조작하는 기능을 구비하며, 상기 피사체 인식 범위를 조작하는 조작 값이 상기 제어부(105)로 전달된다.

도면1을 참조하면, 상기 증강현실 장치(100)는, 상기 카메라부(130)를 통해 피사체 인식 범위의 실제현실 데이터를 입력하는 실제현실 입력부(140)와, 상기 실제현실 데이터의 색상/채도를 판독하여 상기 실제현실 데이터의 객체 영역을 1차 인식하는 객체 인식부(1)(145)와, 상기 카메라부(130)의 피사체 인식 범위와 거리인식 센서의 거리인식 범위를 동기화 시키는 인식 범위 결정부(150)와, 상기 거리인식 범위를 분할하여 n(n>1)개의 거리인식 영역을 결정하는 인식 영역 결정부(155)와, 상기 거리인식 센서를 통해 상기 n개의 거리인식 영역에 대한 n개의 거리인식 값을 측정하는 거리 측정부(160)와, 상기 n개의 거리인식 영역과 상기 피사체 인식 범위에서 촬영된 실제현실 데이터의 픽셀 영역을 매칭시켜 상기 실제현실 데이터에 대한 픽셀 영역 별 거리 값을 산출하는 거리 산출부(165)와, 상기 1차 인식된 객체 영역에 포함된 픽셀 영역 별 거리 값을 비교하여 상기 거리 값이 기 설정된 범위 내에서 유사한 픽셀 영역을 포함하는 객체 영역을 2차 인식하는 객체 인식부(2)(170)를 구비하며, 상기 실제현실 데이터와 상기 산출된 픽셀 영역 별 거리 값을 연결하여 저장하는 데이터 저장부(175)를 더 구비할 수 있다. 본 발명의 실시 방법에 따르면, 상기 실제현실 입력부(140), 객체 인식부(1)(145), 인식 범위 결정부(150), 거리 측정부(160), 거리 산출부(165), 객체 인식부(2)(170) 중 하나 이상의 구성부는 상기 제어부(105), 메모리부(135), 출력부(110), 센서부(125), 카메라부(130) 및 통신부(120)를 구비한 증강현실 장치(100)와 연결된 서버에 구비될 수 있으며, 실시 방법에 따라 일부 구성요소는 증강현실 장치(100)에 구비되고 나머지 구성부는 상기 서버에 구비될 수 있다.

상기 실제현실 입력부(140)는 상기 카메라부(130)를 통해 결정된 피사체 인식 범위에 대응하여 입력되는 데이터를 상기 출력부(110)를 통해 출력할 실제현실 데이터로 입력한다.

상기 객체 인식부(1)(145)는 상기 실제현실 데이터로부터 색상/채도 값을 추출하고, 상기 추출된 색상/채도 값을 판독하여 상기 색상/채도를 기준으로 구분되는 영역의 경계 선을 확인한 후, 상기 경계 선을 기준으로 상기 실제현실 데이터에 포함된 객체 영역을 1차 인식한다.

상기 인식 범위 결정부(150)는 상기 실제현실 입력부(140)를 통해 상기 실제현실 데이터가 입력되는 과정에서 상기 조작부(115)에 의해 조작된 피사체 인식 범위 값을 확인하고, 상기 피사체 인식 범위 값과 상기 센서부(125)를 통해 제어되는 거리인식 센서의 거리인식 범위를 동기화시킨다.

상기 거리인식 센서의 거리인식 범위가 상기 실제현실 데이터를 입력하는 카메라부(130)의 피사체 인식 범위와 동기화되면, 상기 인식 영역 결정부(155)는 상기 거리인식 범위를 분할하여 n(n>1)개의 거리인식 영역을 결정한다.

여기서, 상기 n개의 거리인식 영역은, 상기 피사체 인식 범위에 대한 픽셀 영역과 매칭되도록 결정되거나, 또는 상기 거리인식 범위를 가로/세로 균등 영역으로 분할하여 결정되거나, 또는 상기 피사체 인식 범위에 포함된 색상/채도 값을 기준으로 기 설정된 범위 내에서 유사한 색상/채도 값을 갖는 픽셀 영역과 매칭되어 결정될 수 있다.

본 발명의 실시 방법에 따르면, 상기 거리인식 영역의 개수 n은 상기 거리인식 센서의 거리인식 속도에 비례하여 결정된다. 예컨대, 상기 카메라부(130)가 320*200의 실제현실 데이터를 초단 20번 획득하는데, 상기 거리인식 센서가 초당 1,280,000 회의 거리인식이 가능하다면, 상기 인식 영역 결정부(155)는 상기 거리인식 영역의 개수 n을 상기 320*200의 픽셀 수에 대응하는 64,000으로 결정할 수 있다.

상기 n개의 거리인식 영역이 결전되면, 상기 거리 측정부(160)는 상기 센서부(125)와 연동하여 상기 카메라부(130)와 시선 방향이 동기화된 거리인식 센서를 통해 상기 n개의 거리인식 영역에 대한 n개의 거리인식 값을 측정한다.

본 발명의 실시 방법에 따르면, 상기 거리 측정부(160)는 상기 n개의 거리인식 영역 중 상기 객체 인식부(1)(145)를 통해 1차 인식된 객체 영역에 대응하는 거리인식 영역에 대한 거리인식 값을 선택적으로 측정할 수 있으며, 이에 의해 상기 거리 측정을 위한 거리인식 센서의 부하가 감소될 수 있다.

상기 n개의 거리인식 값이 측정되면, 상기 거리 산출부(165)는 상기 n개의 거리인식 영역과 상기 피사체 인식 범위에서 촬영된 실제현실 데이터의 픽셀 영역을 매칭시켜 상기 실제현실 데이터에 대한 픽셀 영역 별 거리 값을 산출한다.

상기 픽셀 영역 별 거리 값이 산출되면, 상기 객체 인식부(2)(170)는 상기 객체 인식부(1)(145)를 통해 실제현실 데이터의 색상/채도를 기준으로 1차 인식된 객체 영역에 포함된 픽셀 영역 별 거리 값을 비교하여 상기 거리 값이 기 설정된 범위 내에서 유사한 픽셀 영역을 포함하는 객체 영역을 2차 인식한다.

상기 픽셀 영역 별 거리 값이 산출되면, 상기 데이터 저장부(175)는 상기 거리 산출부(165)를 통해 산출된 픽셀 영역 별 거리 값을 상기 카메라부(130)를 통해 입력된 실제현실 데이터의 메타 정보(또는 파일) 형태로 연계하거나, 또는 상기 실제현실 데이터에 상기 픽셀 영역 별 거리 값을 포함시켜 상기 메모리부(135)에 저장할 수 있다.

도면1을 참조하면, 상기 증강현실 장치(100)는, 상기 최종 인식된 객체 영역에 대응하는 객체에 표시할 가상현실 데이터를 결정하는 가상현실 결정부(180)와, 하나 이상의 가상현실 획득수단을 통해 상기 결정된 가사현실 데이터를 입력하는 가상현실 입력부(185)와, 상기 가상현실 데이터를 상기 실제현실 데이터 상의 객체에 표시하여 상기 출력부(110)를 통해 출력하는 증강현실 출력부(190)를 구비한다.

상기 가상현실 결정부(180)는 상기 실제현실 데이터로부터 최종 인식된 객체 영역에 대응하는 객체에 표시할 가상현실 데이터를 결정한다. 만약 상기 실제현실 데이터 상의 객체에 표시할 가사현실 데이터가 어느 하나의 가상현실 데이터로 고정되는 경우, 상기 가상현실 결정부(180)는 상기 고정된 상기 객체 인식부를 통해 인식된 객체에 표시할 가상현실 데이터를 결정할 수 있다.

상기 가상현실 입력부(185)는 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 실시간 생성되는 가상현실 데이터 중 상기 가상현실 결정부(180)를 통해 결정된 가상현실 데이터를 상기 실제현실 데이터의 객체에 표시할 가상현실 데이터로 입력한다.

상기 증강현실 출력부(190)는 상기 실제현실 입력부(140)를 통해 입력되는 실제현실 데이터 상의 객체에 상기 가상현실 입력부(185)를 통해 입력되는 가상현실 데이터를 표시한 후, 상기 출력부(110)를 통해 출력한다.

본 발명의 일 실시 방법에 따르면, 상기 증강현실 출력부(190)는 상기 실제현실 데이터 상의 객체에 투명영역을 포함하는 가상현실 데이터를 중첩시켜 증강현실 데이터를 생성한 후, 상기 증강현실 데이터를 상기 출력부(110)를 통해 출력할 수 있다.

본 발명의 다른 일 실시 방법에 따르면, 상기 증강현실 출력부(190)는 실제현실 계층과 가상현실 계층을 포함하는 증강현실 데이터 포맷을 구성한 후, 상기 증강현실 데이터 포맷의 실제현실 계층에 상기 실제현실 데이터를 출력하고 상기 실제현실 데이터의 객체 위치에 대응하는 가상현실 계층에 가상현실 데이터를 출력하여 상기 출력부(110)를 통해 출력할 수 있다.

본 발명의 또다른 일 실시 방법에 따르면, 상기 출력부(110)가 투명 디스플레이를 포함하는 경우, 상기 증강현실 출력부(190)는 상기 객체 인식부를 통해 결정된 투명 디스플레이 상의 객체 위치에 상기 가상현실 데이터만 표시하여 출력할 수 있다.

도면2는 본 발명의 실시 방법에 따라 거리 차이를 통해 객체를 인식하는 과정을 도시한 도면이다.

보다 상세하게 본 도면2는 상기 도면1에 도시된 증강현실 장치(100)에서 카메라의 피사체 인식 범위와 거리인식 센서의 거리인식 범위를 동기화 시킨 후, 상기 거리인식 범위를 분할하여 n(n>1)개의 거리인식 영역을 결정하여 상기 거리인식 센서를 통해 n개의 거리인식 값을 측정하고, 상기 n개의 거리인식 영역과 실제현실 데이터의 픽셀 영역을 매칭시켜 상기 실제현실 데이터에 대한 픽셀 영역 별 거리 값을 산출하여 상기 실제현실 데이터 상의 객체를 인식하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 거리 차이를 통해 객체를 인식하는 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

도면2를 참조하면, 증강현실 장치(100)는 카메라를 통해 피사체 인식 범위의 실제현실 데이터를 입력하고(200), 상기 입력된 실제현실 데이터를 판독하여 색상/채도를 기반으로 객체 영역을 1차 인식함과 동시에(205), 상기 카메라를 통해 입력되는 실제현실 데이터에 대한 피사체 인식 범위 값을 확인하고(210), 상기 확인된 피사체 인식 범위 값을 통해 상기 거리인식 센서의 거리인식 범위를 상기 피사체 인식 범위와 동기화 시킨다(215).

만약 상기 인식 범위가 동기화되면(220), 상기 증강현실 장치(100)는 상기 거리인식 범위를 분할하여 n(n>1)개의 거리인식 영역을 결정하고(225), 상기 거리인식 센서를 통해 상기 n개의 거리인식 영역에 대한 n개의 거리인식 값을 측정한 후(230), 상기 n개의 거리인식 영역과 상기 피사체 인식 범위에서 촬영된 실제현실 데이터의 픽셀 영역을 매칭시켜 상기 실제현실 데이터에 대한 픽셀 영역 별 거리 값을 산출한다(235).

만약 상기 픽셀 영역 별 거리 값이 산출되면(240), 상기 증강현실 장치(100)는 상기 1차 인식된 객체 영역에 포함된 픽셀 영역 별 거리 값을 비교하여 상기 거리 값이 기 설정된 범위 내에서 유사한 픽셀 영역을 포함하는 객체 영역을 2차 인식하고(245), 상기 최종 인식된 객체 영역에 대응하는 객체에 대한 가상현실 데이터를 결정한 후(250), 상기 실제현실 데이터의 객체에 상기 결정된 가상현실 데이터를 출력한다(255).

도면3은 본 발명의 실시 방법에 따라 거리 차이를 통해 객체를 인식하는 구성을 예시한 도면이다.

도면3을 참조하면, 파란색의 배경 앞에 일정한 거리 차이를 두고 파란색 객체가 존재하는 경우, 카메라를 통해 입력되는 실제현실 데이터의 색상/채도를 판독해서는 상기 객체와 배경을 구분할 수 없으나, 상기 객체와 배경 사이에는 일정한 거리 차이가 존재한다.

본 발명에 따르면, 상기 객체와 배경에 대한 실제현실 데이터를 입력하는 카메라부(130)의 피사체 인식 범위와 거리인식 센서의 거리인식 범위를 동기화시켜 상기 거리인식 센서를 통해 측정되는 거리 차이를 판별하면, 상기 객체와 배경을 구분하여 상기 실제현실 데이터에 존재하는 객체를 인식할 수 있다.

도면4는 본 발명의 실시 방법에 따라 거리 차이를 통해 객체를 인식하는 예시도이다.

도면4를 참조하면, 상기 도면4와 같이 파란색의 배경 앞에 일정한 거리에 객체가 위치한 경우, 상기 객체 실제현실 데이터의 픽셀 중 포인트(A)의 픽셀은 객체에 대응하는 픽셀이고, 포인트(B)는 배경에 대응하는 픽셀이지만, 상기 카메라를 통해 입력되는 실제현실 데이터의 색상/채도를 판독해서는 상기 객체와 배경을 구분할 수 없다.

만약 상기 포인트(A)와 포인트(B)가 상기 인식 영역 결정부(155)를 통해 구분되는 거리인식 영역 중 서로 다른 영역에 존재하는 경우, 상기 포인트(A)에 대응하는 픽셀 영역 별 거리 값과 상기 포인트(B)에 대응하는 픽셀 영역 별 거리 값이 다르므로, 상기 객체 인식부(2)(170)는 상기 파란색 배경 앞에 일정한 거리에 위치한 객체를 명확하게 식별하여 인식할 수 있게 된다.

100 : 증강현실 장치 125 : 센서부
130 : 카메라부 140 : 실제현실 입력부
145 : 객체 인식부(1) 150 : 인식 범위 결정부
155 : 인식 영역 결정부 160 :거리 측정부
165 : 거리 산출부 170 : 객체 인식부(2)
175 : 데이터 저장부 180 : 가상현실 결정부
185 : 가상현실 입력부 190 : 증강현실 출력부

Claims (4)

1. 시선방향이 동기화된 카메라와 별도의 거리인식센서를 구비하며 상기 카메라를 통해 현실세계를 촬영한 실제현실 데이터 상의 지정된 객체 영역에 가상 데이터를 중첩하여 표시하는 증강현실장치에서 실행되는 방법에 있어서,
   상기 카메라를 통해 지정된 피사체 인식 범위의 실제현실 데이터를 입력받는 제1 단계;
   상기 실제현실 데이터의 색상과 채도를 판독하여 가상 데이터를 중첩하여 표시할 객체 영역을 1차 인식하는 제2 단계;
   상기 실제현실 데이터를 입력받는 카메라의 피사체 인식 범위와 상기 거리인식센서의 거리인식 범위를 동기화시키는 제3 단계;
   상기 카메라의 피사체 인식 범위와 동기화된 거리인식 범위 내에서 상기 실제현싱 데이터 상의 1차 인식된 객체 영역을 포함하는 거리인식센서의 센싱 영역을 결정하고 상기 거리인식센서를 통해 상기 센싱 영역으로 지정된 신호를 송출한 후 센싱되는 신호를 근거로 상기 센싱 영역에 존재하는 피사체의 거리를 인식한 거리인식 값을 측정하여 상기 센싱 영역과 매칭된 실제현실 데이터 상의 실제 객체 영역을 인식하는 제4 단계; 및
   상기 실제현실 데이터 상의 인식된 실제 객체 영역에 지정된 가상 데이터를 중첩하여 표시하는 제5 단계;를 포함하는 거리 차이를 이용한 증강현실 제공 방법.
   
2. 제 1항에 있어서, 상기 제3 단계는,
   상기 실제현실 데이터를 입력받는 카메라의 줌인 또는 줌아웃에 의해 변경된 피사체 인식 범위와 상기 거리인식센서의 거리인식 범위를 동기화시키는 단계를 포함하여 이루어지는 것을 특징으로 하는 거리 차이를 이용한 증강현실 제공 방법.
   
3. 제 1항에 있어서, 상기 지정된 신호는,
   인체의 감각기관을 통해 인지하기 난해한 광 신호, 전자파 신호, 음파 신호 중 적어도 하나의 신호를 포함하여 이루어지는 것을 특징으로 하는 거리 차이를 이용한 증강현실 제공 방법.
   
4. 제 1항에 있어서, 상기 제4 단계는,
   상기 거리인식센서의 거리인식 범위와 동기화된 카메라부의 피사체 인식 범위를 근거로 상기 센싱 영역의 거리인식 값을 상기 실제현실 데이터의 픽셀 영역에 매핑 적용하여 픽셀 영역 별 거리 값을 산출하고 상기 픽셀 영역 별 거리 값을 근거로 상기 실제현실 데이터 상의 실제 객체 영역을 인식하는 단계를 포함하여 이루어지는 것을 특징으로 하는 거리 차이를 이용한 증강현실 제공 방법.
   

Images