KR101588409B1 - 마커를 이용하여 표출되는 증강 현실 객체에 대한 입체 사운드 제공 방법 - Google Patents

Abstract

본 발명은 증강 현실 객체의 좌우 이동, 회전 이동, 원근 거리 변화에 따라 증강 현실 객체에 대응하는 사운드의 피치 또는 크기를 능동적으로 대응시켜 입체감있는 사운드를 제공할 수 있는 "마커를 이용하여 표출되는 증강 현실 객체에 대한 입체 사운드 제공 방법"에 관한 것이다. 본 발명에서 제안하는 마커를 이용하여 표출되는 증강 현실 객체에 대한 입체 사운드 제공 방법의 제 1 실시예는 (a) 영상 촬영 장치를 통하여 입력되는 마커를 검출하는 단계; (b) 상기 마커에 대응하는 기정의된 가상의 객체를 디스플레이 장치에 표시하는 단계; (c) 상기 객체에 대응하는 소정의 사운드를 스피커를 통하여 출력하는 단계로 이루어지며, 상기 디스플레이 장치에 표시되는 상기 객체의 좌우 이동, 회전, 원근 거리에 따라 상기 사운드의 피치, 크기 중 적어도 어느 하나를 가변시켜 상기 스피커로 출력하는 것을 특징으로 한다.
본 발명에서 제안하는 마커를 이용하여 표출되는 증강 현실 객체에 대한 입체 사운드 제공 방법을 사용하는 경우 가상 객체가 좌우 이동하거나 회전하거나 멀어지거나 가까워짐에 따라 가상 객체에 연동된 사운드를 가변시킴으로써 사용자가 입체감있게 가상 현실을 체험할 수 있다는 장점이 있다.

Description

마커를 이용하여 표출되는 증강 현실 객체에 대한 입체 사운드 제공 방법{Method for providing stereo sound onto the augmented reality object diplayed by marker}

본 발명은 마커를 이용하여 표출되는 증강 현실 객체에 대한 입체 사운드 제공 방법에 관한 것으로, 보다 구체적으로 증강 현실 객체의 좌우 이동, 회전 이동, 원근 거리 변화에 따라 증강 현실 객체에 대응하는 사운드의 피치 또는 크기를 능동적으로 대응시켜 입체감있는 사운드를 제공할 수 있는 "마커를 이용하여 표출되는 증강 현실 객체에 대한 입체 사운드 제공 방법"에 관한 것이다.

증강현실(Augmented Reality, AR)은 가상현실의 한 분야로, 현실 세계(Real World)에 가상의 객체나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법으로 복합현실이라고도 불리고 있다.

이러한 증강현실은 비마커기반과 마커기반으로 구분된다.

비마커기반은 실세계 환경에서 자연적으로 발생하는 점, 선, 에지, 그리고 텍스쳐 등과 같은 특징들로부터 카메라의 방향을 결정하는 방식이다고, 마커기반은 흰 바탕에 검은색 사각형과 그 안에 다양한 패턴을 적용한 평면 마커를 이용하여 카메라의 방향을 결정하는 방식이다.

하지만, 특허출원번호 제 10-2009-0095711호에 공개되어 있는 "증강현실 환경에서 위치를 기반으로 한 컨텐츠 공유 시스템"과 같은 종래의 마커기반의 증강현실을 이용한 시스템은 다수의 패턴을 인식하는 과정에서 도 1에서 알 수 있는 바와 같이 유사한 패턴을 가지고 있는 마커를 동일한 마커로 인식하는 문제점이 있다.

이에 대하여, 특허출원번호가 제10-2012-0029119호이고 발명의 명칭이 "다중 마커의 배열을 이용하는 증강현실 시스템 및 그 방법"인 선행 특허 문헌에서는 유사성이 적은 패턴을 가지고 있는 4개의 마커를 이용하여 마커 배열을 생성하고 상기 생성된 마커 배열을 통해 다수의 가상 객체를 현실세계에 증강시킴으로 마커기반의 증강현실에서 유사패턴을 가지고 있는 마커들을 인식할 경우 동일 마커로 인식하는 문제를 해결하고 상기 문제로 인해 발생되는 마커 패턴수의 한정적인 문제점을 해결하는 방법을 제안하고 있다.

그러나, 위와 같은 종래의 특허 문헌에서는 증강 현실 구현을 위한 마커 등과 같은 패턴의 인식에 초점을 두고 있다는 한계가 있었고, 시각적인 효과만에 중점을 두어 디스플레이되는 객체에 대한 음향 효과 등에 대한 기술 개발에는 미흡한 부분이 있었다.

이에 대하여 국제출원번호가 PCT/US2010/058675 이고 발명의 명칭이 "증강 현실 시스템"(출원인 : 엠파이어 테크놀로지 디벨롭먼트 엘엘씨)인 국제특허문헌에서는 "실세계 이미지 및 가상 오브젝트를 병합함으로써 증강 현실 이미지를 제공하도록 구성되는 증강 현실 엔진 및 가상 오브젝트에 관련된 메시지를 수신하고 가상 오브젝트의 공간 속성을 사운드 파일의 오디오 속성으로 변환하도록 구성되는 메시지 처리 유닛을 포함하는 증강 현실 시스템"을 제안하면서 오브젝트 파일과 사운드 파일을 연동시켜 오브젝트 표출시 소정의 사운드를 출력하는 방법을 제시하고 있다.

그러나, 상기 국제 특허 문헌의 경우 오브젝트의 이동이나 변화 등과 무관하게 기저장된 소정의 사운드만을 오브젝트에 매칭시켜 단순 출력함으로써 입체감있는 사운드를 제공하지 못한다는 단점이 있다.

1. 특허출원번호 제10-2012-0029119호, 발명의 명칭 : "다중 마커의 배열을 이용하는 증강현실 시스템 및 그 방법" 2. 국제특허출원번호 PCT/US2010/058675, 발명의 명칭 : "증강 현실 시스템"

본 발명은 전술한 종래의 문제점을 개선하기 위하여 제안된 것으로, 증강 현실 객체의 좌우 이동, 회전 이동, 원근 거리 변화에 따라 증강 현실 객체에 대응하는 사운드의 피치 또는 크기를 능동적으로 대응시켜 입체감있는 사운드를 제공하는 것을 목적으로 한다.

본 발명에서 제안하는 마커를 이용하여 표출되는 증강 현실 객체에 대한 입체 사운드 제공 방법의 제 1 실시예는 (a) 영상 촬영 장치를 통하여 입력되는 마커를 검출하는 단계; (b) 상기 마커에 대응하는 기정의된 가상의 객체를 디스플레이 부에 표시하는 단계; (c) 상기 객체에 대응하는 소정의 사운드를 스피커를 통하여 출력하는 단계로 이루어지며, 상기 디스플레이부에 표시되는 상기 객체의 좌우 이동, 회전, 원근 거리에 따라 상기 사운드의 피치, 크기 중 적어도 어느 하나를 가변시켜 상기 스피커로 출력하는 것을 특징으로 한다.

본 발명에서 제안하는 마커를 이용하여 표출되는 증강 현실 객체에 대한 입체 사운드 제공 방법의 제 2 실시예는 (a) 영상 촬영 장치를 통하여 입력되는 복수개 마커를 인식하고 패턴 좌표를 계산하는 단계; (b) 상기 복수개 마커에 대응하는 기정의된 가상 객체의 좌표를 계산하는 단계; (c) 상기 객체의 좌표를 상기 패턴 좌표에 대응시켜 상기 객체를 표시하는 단계; (d) 상기 객체에 대응하는 소정의 사운드를 스피커를 통하여 출력하는 단계로 이루어지며, 상기 디스플레이부에 표시되는 상기 객체의 좌우 이동, 회전, 원근 거리에 따라 상기 사운드의 피치, 크기 중 적어도 어느 하나를 가변시켜 상기 스피커로 출력하는 것을 특징으로 한다.

본 발명의 제 2 실시예에 있어서, 상기 객체의 좌우 이동, 회전, 원근 거리는 상기 객체의 좌표 변화를 이용하여 검출한다.

본 발명에서 제안하는 마커를 이용하여 표출되는 증강 현실 객체에 대한 입체 사운드 제공 방법을 사용하는 경우 가상 객체가 좌우 이동하거나 회전하거나 멀어지거나 가까워짐에 따라 가상 객체에 연동된 사운드를 가변시킴으로써 사용자가 입체감있게 가상 현실을 체험할 수 있다는 장점이 있다.

도 1은 본 발명에서 제안하는 마커를 이용하여 표출되는 증강 현실 객체에 대한 입체 사운드 제공 방법을 구현하기 위한 기능 블록도이다.
도 2는 도 1에 도시된 데이터베이스부의 주요 구성을 도시한 도면이다.
도 3은 본 발명에 따른 마커를 이용하여 표출되는 증강 현실 객체에 대한 입체 사운드 제공 방법을 실시하는 과정을 흐름도로 표시한 도면이다.
도 4는 객체의 크기가 화면서에서 가까워지거나 멀어짐에 따른 사운드 변화를 보여주는 도면이다.
도 5는 가상 객체가 90도 회전각으로 회전하는 경우 피치의 변화를 도시한 도면이다.
도 6은 사운드 피치의 변화를 Doppler Pitch Scalar의 변화에 따라서 나타낸 도면이다.
도 7은 도 4 내지 도 6에서 설명한 가상 객체의 거리와 크기, 회전각과 피치, Doppler Pitch Scalar와 피치의 변화를 모두 한꺼번에 나타낸 도면이다.

이하 도면을 참조하여 본 발명에서 제안하는 마커를 이용하여 표출되는 증강 현실 객체에 대한 입체 사운드 제공 방법에 대하여 설명하기로 한다.

도 1은 본 발명에서 제안하는 마커를 이용하여 표출되는 증강 현실 객체에 대한 입체 사운드 제공 방법을 구현하기 위한 기능 블록도이고, 도 2는 도 1에 데이터베이스부의 주요 구성을 도시한 도면이다.

도 1에 도시된 바와 같이, 본 발명의 하드웨어적 구성은 복수개(예컨대 4개)의 마커(100)와 , 마커(100)를 촬영하기 위한 웹캠 등과 같은 영상 촬영 장치(200)와, 영상 촬영 장치(200)를 통하여 획득한 마커(100)의 이미지를 이용하여 가상의 객체(본 명세서에서는 증강 현실 객체와 동일한 의미로 사용하기로 한다)와 객체에 대응하는 소정의 사운드를 출력하기 위한 컴퓨터 장치(300)로 이루어진다.

컴퓨터 장치(300)는 증강 현실 실현을 위헤 전반적인 제어를 수행하는 제어부와, 정보 저장 기능을 갖는 데이터베이스부와, 가상 객체 등을 표시하기 위한 디스플레이부와, 가상 객체에 대응하는 소정의 사운드를 출력하기 위한 스피커를 기본적으로 구비한다.

도 1의 데이터베이스부는 도 2에 도시된 바와 같이, 마커 정보부, 객체 정보부, 사운드 정보부를 포함한다.

마커 정보부에는 마커의 정보가 저장되어 있으며, 객체 정보부에는 마커에 대응하는 소정의 객체 정보가 저장되고 있으며, 사운드 정보부에는 소정 객체에 대응하는 사운드 정보가 저장되어 있다.

예컨대, 도 1의 마커(100)가 인식되는 경우 이에 대응하는 객체는 자동차가 될 수 있으며 이 경우 자동차 객체에 대응하는 소정의 자동차 소리(음향)가 저장될 수 있다. 즉, 객체 정보부에는 자동차가 기저장되어 있고 사운드 정보부에는 자동차 소리가 기저장되어 있을 수 있다.

이하, 본 발명에 대하여 보다 구체적으로 설명하기로 한다.

본 발명에서, 복수개의 마커(100) 각각의 크기는 16.5 x 16.5 mm, 마커 픽셀의 크기는 1.5 x 1.5 mm로 하였으나 이는 예시적인 것으로 필요에 따라 가변 가능하다.

본 발명에서 복수개의 마커(100)를 사용한 이유는 마커 인식률을 높이기 위함이다.

다음, 영상 촬영 장치(200)를 통하여 인식된 영상은 컴퓨터 장치(300)의 제어부로 전송된다.

본 발명에서 구현하고자 하는 증강 현실 구현을 위한 알고리즘이 탑재되어 있는 컴퓨터 장치(300)내의 제어부는 영상 촬영 장치를 통하여 입력되는 마커(100)를 검출한다.

제어부는 데이터베이스부의 마커 정보부에 기저장된 마커 정보를 독출하여 검출된 마커(100)와 비교한 후 해당 마커에 대응하는 소정의 객체(예컨대 자동차)를 데이터베이스부의 객체 정보부에서 독출한 다음 디스플레이부에 표시한다.

한편, 제어부는 자동차 객체에 대응하는 사운드 정보를 사운드 정보부로부터 독출한 후 스피커를 통하여 출력한다.

따라서 사용자는 객체에 대응하는 소정의 사운드를 들을 수 있다.

이하에서는 도 3을 참조하여 본 발명에서 실제로 제안하고자 하는 기술 즉 객체의 이동 변화에 따라 객체에 연동된 소정의 사운드를 입체적으로 가변시키는 방법에 대하여 설명하기로 한다.

도 3은 본 발명에 따른 마커를 이용하여 표출되는 증강 현실 객체에 대한 입체 사운드 제공 방법을 실시하는 과정을 흐름도로 표시한 도면이다.

도 3에 도시된 바와 같이, 본 발명에 따른 기술적 사상의 처리 과정은 (1) 영상 촬영 장치를 통하여 입력되는 마커를 인식하는 단계; (2) 인식된 마커 패턴의 좌표를 산정하는 단계; 증강 객체의 좌표를 패턴 좌표로 이동(변환)시키는 단계; (3) 증강 객체를 디스플레이부에 출력시키는 단계; (4) 증강 객체에 대응하는 사운드를 스피커를 통하여 출력하는 단계를 포함한다.

여기서, 인식된 마커 패턴의 좌표를 산정하는 단계와 증강 객체의 좌표를 패턴 좌표로 이동(변환)시키는 단계를 거치는 이유는 다음과 같다.

증강 현실 구현시 영상으로 촬영된 마커의 좌표를 산정한 후 그에 대응하는 좌표에 가상 객체들을 위치시킬 필요가 있다.

이 부분을 구현하기 위해서는 가상 객체에 대한 3차원 좌표가 필요하며, 이 좌표는 카메라를 기준으로 하는 좌표 값이 되어야 한다.

본 발명에서는 마커 인식 기술을 이용하여 상대적 좌표를 추출하고 가상 객체를 해당 좌표에 표시하는 방법을 사용한다.

다음, 본 발명에서는 소정 좌표 위치에 놓인 가상 객체에 대응하는 소정의 사운드를 출력한다.

본 발명에서는 가상 객체의 움직임에 따라 가상 객체에 대응하는 사운드에 변화를 주는 방법을 제안한다. 가상 객체의 위치가 설정된 후 가상 객체가 디스플레이부상에서 좌우로 이동하거나 화면상에서 시계 방향 또는 반시계 방향으로 회전하거나, 해당 위치에서 원근감있게 줌인 또는 줌아웃하여 크기가 변하면서 이동하는 경우 이러한 움직임에 대응하여 사운드를 가변시킨다. 본 발명에서 가상 객체의 움직임은 마우스 또는 키보드를 이용하였다.

본 발명에서 사운드를 입체적으로 가변시켜 출력시키는 방법은 다음과 같다.

도 4는 객체의 크기가 화면서에서 가까워지거나 멀어짐에 따른 사운드 변화를 보여주는 도면으로, 가상 객체(자동차)가 현재의 위치 좌표에서 디스플레이부 화면상에서 멀어질 수록 사운드의 크기가 작아지는 오디오 효과를 보여주고 있다.

도 5는 가상 객체가 90도 회전각으로 회전하는 경우 피치의 변화를 도시한 도면으로 본 발명의 실시예에서 피치값의 변화는 자동차가 오른쪽으로 가면 작아지고 왼쪽으로 갈수록 커지도록 설정하였다.

도 6은 사운드 피치의 변화는 도플러 효과를 이용한 것으로 보다 구체적으로는 Doppler Pitch Scalar의 변화에 따라서 나타낸 것이다(참고로, 도플러 효과는 음원이나 발음체가 소리를 내면서 사람의 귀에 접근해 오거나 멀어지면, 접근해 올 때는 음원의 음높이(주파수)보다 높고, 멀어질 때는 낮게 들리는 효과로, 도플러 효과를 적용하고자 할 경우 이에 따른 Pitch(주파수)를 변경한다) 여기서, Doppler Pitch Scalar 값은 1을 기준으로 가상 객체가 처음 위치에서 멀어지면 1보다 작은 값이 되고 처음의 위치보다 더 가까워지면 1보다 큰 값이 된다. 본 발명에서는 이처럼 가상 객체가 멀어지거나 가까워지는 속도에 따라서 피치값이 결정되도록 하였다.

도 6에서, 자동차가 처음 위치에서 오른쪽으로 이동하는 경우에는 1보다 작은 값이기 때문에 피치 값이 작아져서 파장이 길어지고, 자동차가 다시 원래의 위치로 이동하는 경우는 피치값이 커져서 파장이 짧아지는 것을 볼 수 있다.

도 7은 도 4 내지 도 6에서 설명한 가상 객체의 거리와 크기, 회전각과 피치, Doppler Pitch Scalar와 피치의 변화를 모두 한꺼번에 나타낸 도면이다.

도 7에서 알 수 있듯이, 자동차가 처음의 위치로 가깝게 갈수록 점점 크기가 점점 커지고 피치 값이 작아지게 되고, 처음의 위치에서 멀어질수록 크기가 점점 작아지고 피치 값이 커지는 것을 볼 수 있었으며, 크기와 피치가 동시에 바뀌므로 인하여 실감나는 오디오 사운드를 입체적으로 즐길 수 있다.

이러한 본 발명의 실시는 가상 객체의 이동 즉 화면상에서 좌우로 이동하거나 회전하거나 줌인 및 줌 아웃하거나 함으로써 원금감이 발생하도록 하는 경우 그에 각각 대응하여 가상 객체에 할당된 소정 사운드의 크기와 피치 등을 중첩적으로 가변 가능하도록 프로그램화함으로써 가능하다.

한편, 본 발명에서 마우스 또는 키보드를 이용하여 가상 객체를 이동시키는 경우 해당 가상 객체의 좌표가 변하게 되며 이러한 좌표 변화에 근거하여 객체의 좌우 이동, 회전, 원근 거리에 따라 사운드를 가변시키는 방법을 채택하였으나 다른 대체적인 방법도 가능할 수 있다.

이상에서 설명한 바와 같이, 본 발명에서는 디스플레이부 화면상에서 가상 객체의 원근 거리감, 회전 방향, 좌우 이동 등에 맞추어 기준이 되는 사운드의 파장과 피치 등을 가변시킴으로써 가상 객체의 움직임 변화에 따라 대응하는 소정 사운드를 입체적으로 변화시키는 것을 그 기술적 사상으로 한다.

이러한 기술적 사상은 다양한 방법의 증강 현실 구현 방법과 무관하게 적용이 가능하므로 마커를 이용한 증강 현실 이외에도 비마커를 이용한 증강 현실을 구현하는 경우에도 동일하게 적용 가능하며 이러한 경우 본 발명의 보호범주에 속할 수 있다.

Claims (3)

1. 마커와, 상기 마커를 촬영하기 위한 영상 촬영 장치와, 상기 영상 촬영 장치를 통하여 획득한 상기 마커의 이미지를 이용하여 가상 객체 및 상기 가상 객체에 대응하는 소정의 사운드를 출력하기 위한 컴퓨터 장치(상기 컴퓨터 장치는 증강 현실 실현을 위해 전반적인 제어를 수행하는 제어부와, 정보 저장 기능을 갖는 데이터베이스부와, 상기 가상 객체를 표시하기 위한 디스플레이부와, 상기 가상 객체에 대응하는 소정의 사운드를 출력하기 위한 스피커를 구비하고; 상기 데이터베이스부는 상기 마커의 정보를 저장하고 있는 마커 정보부와, 상기 마커에 대응하는 상기 가상 객체의 정보를 저장하고 있는 객체 정보부와, 상기 가상 객체에 대응하는 사운드 정보를 저장하고 있는 사운드 정보부를 구비함)를 사용하여 상기 마커를 이용하여 표출되는 증강 현실 객체에 대한 입체 사운드 제공 방법으로서,
   (a) 상기 영상 촬영 장치를 통하여 입력되는 상기 마커를 검출하는 단계;
   (b) 상기 제어부가 상기 마커에 대응하는 기정의된 가상 객체를 상기 마커 정보부에서 독출하여 상기 디스플레이부에 표시하는 단계;
   (c) 상기 제어부가 상기 가상 객체에 대응하는 소정의 사운드를 상기 사운드 정보부에서 독출하여 상기 스피커를 통해 출력하는 단계로 이루어지며,
   상기 디스플레이부에 표시되는 상기 가상 객체는 상기 컴퓨터 장치와 연동된 마우스 또는 키보드 조작에 움직이며, 상기 마우스 또는 키보드 조작에 의한 상기 가상 객체의 좌우 이동, 회전, 원근 거리 정도에 따라 상기 가상 객체의 3차원 좌표가 가변되면 상기 제어부는 상기 사운드 정보부에서 독출한 상기 사운드의 피치, 크기 중 적어도 어느 하나를 상기 가상 객체의 3차원 좌표 변화에 따라 가변시키면서 상기 스피커를 통하여 입체 사운드로 출력시키며,
   상기 가상 객체의 사이즈가 상기 디스플레이부 상에서 멀어지는 경우 상기 사운드의 크기는 작아지고,
   상기 가상 객체가 90도 회전하는 경우 상기 가상 객체에 대응하는 사운드의 피치는 상기 가상 객체가 상기 디스플레이부 상에서 오른쪽으로 가면 작아지고 왼쪽으로 가면 커지도록 제어되는 것을 특징으로 하는 마커를 이용하여 표출되는 증강 현실 객체에 대한 입체 사운드 제공 방법.
   
2. 삭제
3. 삭제

Images