KR20130065580A - 전자 장치, ａｒ 이미지 생성 방법 및 컴퓨터 판독가능 기록매체 - Google Patents

Abstract

전자 장치가 개시된다. 본 전자 장치는, 이격된 위치에서 피사체를 촬상한 스테레오 이미지 및 CG 오브젝트의 위치 정보를 입력받는 입력부, 입력된 스테레오 이미지를 복수의 영역으로 구분하고, 구분된 각 영역별 깊이 값을 계산하는 계산부, 계산된 각 영역별 깊이 값 및 CG 오브젝트의 위치 정보를 이용하여 CG 오브젝트에 대한 랜더링 이미지를 생성하는 랜더링부, 및, 생성된 랜더링 이미지와 스테레오 이미지를 합성하는 합성부를 포함한다.

Description

전자 장치, ＡＲ 이미지 생성 방법 및 컴퓨터 판독가능 기록매체{ELECTRONIC APPARATUS, METHOD FOR PRODUCTING OF AUGEMENTED REALITY IMAGE AND COMPUTER-READABLE RECORDING MEDIUM}

전자 장치, AR 이미지 생성 방법 및 컴퓨터 판독가능 기록매체에 관한 것으로, 더욱 상세하게는 피사체와 CG 오브젝트의 전후 상태를 고려하여 AR 이미지를 생성할 수 있는 전자 장치, AR 이미지 생성 방법 및 컴퓨터 판독가능 기록매체에 관한 것이다.

AR(Augmented Reality)이란 실제 이미지상에 3차원의 가상물체를 겹쳐서 보여주는 기술을 활용해 현실과 가상환경을 융합하는 복합형 가상 현실이다.

구체적으로, AR 기술은 실제 이미지에 포함된 마커(marker)를 감지하고, 마커의 위치 및 방향을 계산하여, 계산된 마커의 위치 및 방향에 CG 이미지를 합성하여, AR 이미지를 생성하였다.

그러나 종래의 AR 기술은 2차원의 실제 이미지를 이용하기 때문에, 실제 이미지 내의 피사체의 깊이를 산출하기 어려웠다. 이에 따라, 종래의 AR 기술은 실제 이미지 내의 피사체와 CG 이미지를 중첩하는 과정에서, 피사체와 CG 이미지의 선/후 상태를 판단하지 못하기 때문에 피사체 상에 CG 이미지를 배치하는 형태로 AR 이미지를 생성하였다. 이와 같은 예에 대해서는 도 13을 참조하여 이하에서 설명한다.

도 13은 종래의 AR 기술에 의해 생성된 AR 이미지의 예를 도시한 도면이다.

도 13을 참조하면, 피사체가 CG 오브젝트를 차단하는 위치에 있더라도, CG 오브젝트를 실제 이미지 위에 배치한다는 점에서, CG 오브젝트가 피사체를 가리는 것 같은 형태의 AR 이미지를 생성한다.

이와 같이 종래의 AR 기술은 원근감에 모순이 생기는 AR 이미지를 생성한다는 점에서, 문제점이 있었다.

따라서, 본 발명은 상술한 바와 같은 문제점을 해결하기 위하여, 피사체와 CG 오브젝트의 전후 상태를 고려하여 AR 이미지를 생성할 수 있는 전자 장치, AR 이미지 생성 방법 및 컴퓨터 판독가능 기록매체에 관한 것이다.

이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치는, 이격된 위치에서 피사체를 촬상한 스테레오 이미지 및 CG 오브젝트의 위치 정보를 입력받는 입력부, 상기 입력된 스테레오 이미지를 복수의 영역으로 구분하고, 구분된 각 영역별 깊이 값을 계산하는 계산부, 상기 계산된 각 영역별 깊이 값 및 상기 CG 오브젝트의 위치 정보를 이용하여 상기 CG 오브젝트에 대한 랜더링 이미지를 생성하는 랜더링부, 및, 상기 생성된 랜더링 이미지와 상기 스테레오 이미지를 합성하는 합성부를 포함한다.

이 경우, 상기 계산부는, 영역분할(split&merge) 방식으로 복수의 영역으로 구분할 수 있다.

한편, 상기 계산부는, 상기 이격된 스테레오 이미지 내의 피사체별 깊이 값을 계산하고, 상기 계산된 피사체별 깊이 값을 상기 구분된 복수의 영역에 할당하여, 상기 구분된 각 영역별 깊이 값을 계산할 수 있다.

한편, 상기 스테레오 이미지는 상기 CG 이미지의 위치를 나타내는 마커를 포함하고, 상기 입력부는, 상기 스테레오 이미지 내의 마커 위치를 상기 CG 오브젝트의 위치 정보로 입력받을 수 있다.

한편, 상기 랜더링부는, 상기 CG 오브젝트의 위치에 배치되는 CG 오브젝트의 각 면에 대한 오브젝트의 깊이와 피사체의 깊이를 비교하여 CG 오브젝트를 랜더링할 수 있다.

이 경우, 상기 랜더링부는, 피사체의 깊이보다 오브젝트의 깊이가 더 깊은 영역에 대해서는 CG 오브젝트에 대한 랜더링을 수행하지 않는 것이 바람직하다.

한편, 상기 랜더링부는, 상기 CG 오브젝트에 대한 2차원 랜더링 이미지를 생성할 수 있다.

이 경우, 상기 합성부는, 상기 스테레오 이미지 중 하나의 이미지와 상기 생성된 2차원 이미지를 합성하여 2차원 AR 이미지를 생성할 수 있다.

한편, 본 전자 장치는, 상기 합성된 AR 이미지를 표시하는 사용자 인터페이스부를 더 포함할 수 있다.

한편, 본 실시 예에 따른, AR 이미지 생성 방법은, 이격된 위치에서 피사체를 촬상한 스테레오 이미지 및 CG 오브젝트의 위치 정보를 입력받는 단계, 상기 입력된 스테레오 이미지를 복수의 영역으로 구분하고, 구분된 각 영역별 깊이 값을 계산하는 단계, 상기 계산된 각 영역별 깊이 값 및 상기 CG 오브젝트의 위치 정보를 이용하여 상기 CG 오브젝트에 대한 랜더링 이미지를 생성하는 단계, 및, 상기 생성된 랜더링 이미지와 상기 스테레오 이미지를 합성하는 단계를 포함한다.

이 경우, 상기 계산하는 단계는, 영역분할(split&merge) 방식으로 복수의 영역으로 구분할 수 있다.

한편, 상기 계산하는 단계는, 상기 이격된 스테레오 이미지 내의 피사체별 깊이 값을 계산하고, 상기 계산된 피사체별 깊이 값을 상기 구분된 복수의 영역에 할당하여, 상기 구분된 각 영역별 깊이 값을 계산할 수 있다.

한편, 상기 스테레오 이미지는 상기 CG 이미지의 위치를 나타내는 마커를 포함하고, 상기 위치 정보를 입력받는 단계는, 상기 스테레오 이미지 내의 마커 위치를 상기 CG 오브젝트의 위치 정보로 입력받을 수 있다.

한편, 상기 랜더링 이미지를 생성하는 단계는, 상기 CG 오브젝트의 위치에 배치되는 CG 오브젝트의 각 면에 대한 오브젝트의 깊이와 피사체의 깊이를 비교하여 CG 오브젝트를 랜더링할 수 있다.

이 경우, 상기 랜더링 이미지를 생성하는 단계는, 피사체의 깊이보다 오브젝트의 깊이가 더 깊은 영역에 대해서는 CG 오브젝트에 대한 랜더링을 수행하지 않는 것이 바람직하다.

한편, 상기 랜더링 이미지를 생성하는 단계는, 상기 CG 오브젝트에 대한 2차원 랜더링 이미지를 생성할 수 있다.

이 경우, 상기 합성하는 단계는, 상기 스테레오 이미지 중 하나의 이미지와 상기 생성된 2차원 이미지를 합성하여 2차원 AR 이미지를 생성할 수 있다.

한편, 본 AR 이미지 생성 방법은, 상기 합성된 AR 이미지를 표시하는 단계를 더 포함할 수 있다.

한편, 본 실시 예에 따른 AR 이미지 생성 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 AR 이미지 생성 방법은, 이격된 위치에서 피사체를 촬상한 스테레오 이미지 및 CG 오브젝트의 위치 정보를 입력받는 단계, 상기 입력된 스테레오 이미지를 복수의 영역으로 구분하고, 구분된 각 영역별 깊이 값을 계산하는 단계, 상기 계산된 각 영역별 깊이 값 및 상기 CG 오브젝트의 위치 정보를 이용하여 상기 CG 오브젝트에 대한 랜더링 이미지를 생성하는 단계, 및, 상기 생성된 랜더링 이미지와 상기 스테레오 이미지를 합성하는 단계를 포함한다.

도 1은 본 발명의 일 실시 예에 따른 전자 장치의 블록도,
도 2는 마커 이미지의 예를 도시한 도면,
도 3은 입력 이미지의 예를 도시한 도면,
도 4는 본 실시 예에 따른 깊이 계산 동작을 설명하기 위한 도면,
도 5는 영역 분할 동작을 설명하기 위한 도면,
도 6 및 도 7은 구분된 복수의 영역에 깊이 값을 할당하는 동작을 설명하기 위한 도면,
도 8은 본 실시 예에 따른 CG 오브젝트의 랜더링 동작을 설명하기 위한 도면,
도 9는 본 실시 예에 따라 랜더링된 이미지의 예를 도시한 도면,
도 10은 본 실시 예에 따라 생성된 AR 이미지의 예를 도시한 도면,
도 11은 본 발명의 일 실시 예에 따른 AR 이미지 생성 방법을 설명하기 위한 흐름도, 그리고,
도 12는 종래의 AR 기술에 의해 생성된 AR 이미지의 예를 도시한 도면이다.

이하 첨부된 도면들을 참조하여 본 발명의 일시 예를 더욱 상세하게 설명한다.

도 1은 본 발명의 일 실시 예에 따른 전자 장치의 블록도이다.

도 1을 참조하면, 본 실시 예에 따른 전자 장치(100)는 입력부(110), 통신 인터페이스부(120), 사용자 인터페이스부(130), 저장부(140), 계산부(150), 랜더링부(160), 합성부(170) 및 제어부(180)로 구성된다. 본 실시 예에 따른 전자 장치(100)는 PC, 노트북, 디지털 카메라, 캠코더, 휴대폰 등일 수 있다.

입력부(110)는 이격된 위치에서 피사체를 촬상한 스테레오 이미지를 입력받는다. 구체적으로, 입력부(110)는 외부 디지털 카메라, 화상독취장치(스캐너)와 같은 촬영 장치에서 촬상된 스테레오 이미지를 입력받을 수 있다. 또는 자체적으로 구비하고 있는 촬영 소자를 이용하여 스테레오 이미지를 형성할 수 있다. 여기서 스테레오 이미지는 상호 이격된 위치에서 동일한 지점을 촬상한 좌측 이미지 및 우측 이미지를 포함한다.

그리고 입력부(110)는 합성될 CG 오브젝트를 입력받는다. 구체적으로, 입력부(110)는 외부 장치(미도시)로부터 CG 오브젝트를 입력받는다. 한편, 본 실시 예에서는 외부 장치로부터 CG 오브젝트를 입력받는 것으로 설명하였지만, 구현시에 CG 오브젝트는 후술할 저장부(140)에 기저장되어 있을 수 있다.

그리고 입력부(110)는 CG 오브젝트의 위치 정보를 입력받는다. 한편, 본 실시 예에서는 위치 정보를 외부로부터 입력받는 것으로 설명하였지만, 구현시에는 후술할 사용자 인터페이스부(130)를 통하여 CG 오브젝트의 좌표값을 입력받을 수 있으며, 마커가 포함된 스테레오 이미지를 이용하여 CG 오브젝트의 위치 정보를 입력받을 수도 있다. 이와 같은 예에 대해서는 도 2 및 도 3을 참조하여 후술한다.

통신 인터페이스부(120) 전자 장치(100)를 외부 장치와 연결하기 위해 형성되며, 근거리 통신망(LAN: Local Area Network) 및 인터넷 망을 통해 무선 또는 유선 방식으로 단말장치에 접속되는 형태뿐만 아니라, USB(universal Serial Bus) 포트, 블루투스(bluetooth) 모듈을 통하여 접속되는 형태도 가능하다.

통신 인터페이스부(120)는 후술할 합성부(170)에서 생성된 AR 이미지를 외부 장치(미도시)에 전송할 수 있다. 한편, 본 실시 예에서는 입력부(110)와 통신 인터페이스부(120)를 별도의 구성인 것으로 도시하고 설명하였지만, 구현시에는 하나의 구성을 구현될 수 있다.

사용자 인터페이스부(130)는 전자 장치(100)에서 지원하는 각종 기능을 사용자 설정 또는 선택할 수 있는 다수의 기능키를 구비하며, 전자 장치(100)에서 제공하는 각종 정보를 표시할 수 있다. 사용자 인터페이스부(130)는 터치 스크린과 같이 입력과 출력이 동시에 구현되는 장치로 구현될 수 있고, 다수의 버튼과 같은 입력장치와 LCD 모니터, OLED 모니터 등과 같은 표시 장치를 결합하여 구현될 수 있다.

그리고 사용자 인터페이스부(130)는 CG 오브젝트의 위치 정보를 입력받을 수 있다. 그리고 사용자 인터페이스부(130)는 후술할 합성부(170)에서 생성된 AR 이미지를 표시할 수 있다.

저장부(140)는 입력된 스테레오 이미지를 저장한다. 그리고 저장부(140)는 CG 오브젝트를 저장한다. 그리고 저장부(140)는 후술할 합성부(170)에서 생성된 AR 이미지를 저장할 수 있다.

그리고 저장부(140)는 후술할 계산부에서 계산된 피사체의 깊이 및 중첩 영역을 저장할 수 있으며, 랜더링부(160)에서 랜더링된 CG 오브젝트를 저장할 수도 있다.

이러한 저장부(130)는 전자 장치(100) 내의 저장매체 및 외부 저장매체, 예를 들어, USB 메모리, 플레쉬 메모리 등을 포함한 Remobable Disk, 촬상장치에 연결된 저장매체, 네트워크를 통한 웹 서버(web server) 등으로 구현될 수 있다.

계산부(150)는 입력된 스테레오 이미지를 이용하여 피사체의 깊이를 산출한다. 구체적으로, 계산부(150)는 이격된 스테레오 이미지 내의 피사체별 깊이 값을 계산하고, 계산된 피사체별 길치 값을 구분된 복수의 영역에 할당하여, 구분된 각 영역별 깊이 값을 계산할 수 있다. 이때, 계산부(150)는 영역분할(split&merge) 방식으로 입력된 스테레오 이미지를 복수의 영역으로 구분할 수 있다. 복수의 영역에 깊이 값을 산출하는 동작에 대해서는 도 4 내지 도 7을 참조하여 후술한다.

그리고 계산부(150)는 산출된 피사체의 깊이 정보를 기초로 CG 오브젝트의 피사체와이 중첩 영역을 계산한다. 구체적으로, 계산부(150)는 CG 오브젝트의 깊이 값을 산출하고, CG 오브젝트가 배치될 2차원 좌표 영역을 계산하고, 계산된 2차원 좌표 영역에 CG 오브젝트보다 낮은 깊이 값을 갖는 피사체를 감지하고, 감지된 피사체와 계산된 2차원 좌표 영역 간의 중첩 영역을 계산할 수 있다.

랜더링부(160)는 계산된 중첩 영역을 제외한 CG 오브젝트에 대한 랜더링 이미지를 생성한다. 구체적으로, 랜더링부(160)는 CG 오브젝트에 대한 랜더링을 수행하고, 랜더링 과정 중에 계산된 중첩 영역에 대해서는 랜더링을 수행하지 않는다. 이와 같은 랜더링 이미지는 2차원 랜더링 이미지일 수 있으며, 3차원 랜더링 이미지일 수도 있다. 한편, 3차원 랜더링 이미지가 생성된 경우에, 최종 AR 이미지가 2차원 이미지이면, 랜더링부(160)는 3차원 랜더링 이미지를 2차원 랜더링 이미지로 변환할 수 있다.

한편, 본 실시 예에서는 계산부(150)에서 랜더링이 수행되지 않을 중첩 영역을 계산하고, 이후에 계산된 중첩 영역을 이용하여 랜더링 수행하는 것으로 설명하였지만, 구현시에는 랜더링 과정에서 이와 같은 과정을 동시에 수행할 수도 있다.

구체적으로, 랜더링부(160)는 계산된 각 영역별 깊이 값 및 CG 오브젝트의 위치 정보를 이용하여 CG 오브젝트에 대한 랜더링 이미지를 생성할 수 있다. 보다 구체적으로, CG 오브젝트의 위치에 배치되는 CG 오브젝트의 각 면에 대한 오브젝트의 깊이와 피사체의 깊이를 비교하여, 피사체의 깊이보다 오브젝트의 깊이가 더 깊으면 오브젝트의 랜더링을 수행하지 않고, 피사체의 깊이보다 오브젝트의 깊이가 더 깊지 않으면 오브젝트의 랜더링을 수행할 수 있다.

합성부(170)는 생성된 랜더링 이미지와 스테레오 이미지를 합성한다. 구체적으로, 합성부(170)는 스테레오 이미지 중 하나의 이미지를 선택하고, 선택된 하나의 이미지의 입력된 CG 오브젝트 위치에 랜더링된 CG 오브젝트를 배치하여 AR 이미지를 생성할 수 있다. 한편, 스테레오 이미지에 마커가 포함되어 있는 경우에, 합성부(170)부는 스테레오 이미지 내의 마커 상에 랜더링된 CG 오브젝트를 배치하여 AR 이미지를 생성할 수 있다.

제어부(180)는 전자 장치(100) 내의 각 구성을 제어할 수 있다. 구체적으로, 입력부(110)를 통하여 스테레오 이미지 및 CG 오브젝트가 입력되면, 제어부(180)는 스테레오 이미지 내의 피사체 각각의 깊이가 산출되도록 계산부(150)를 제어하고, 스테레오 이미지를 복수의 영역으로 구분하고, 계산된 피사체 깊이 값을 이용하여 각 영역의 깊이 값이 계산되도록 계산부(150)를 제어할 수 있다.

그리고 제어부(180)는 계산된 각 영역별 깊이 값과 CG 오브젝트의 위치 정보를 이용하여 CG 오브젝트에 대한 랜더링 이미지가 생성되도록 랜더링부(160)를 제어하고, 생성된 CG 랜더링 이미지와 스테레오 이미지가 합성되도록 합성부(170)를 제어할 수 있다.

그리고 AR 이미지가 생성되면, 제어부(180)는 생성된 AR 이미지가 표시되도록 사용자 인터페이스부(130)를 제어하거나, 외부 장치에 생성된 AR 이미지가 전송되도록 통신 인터페이스부(120)를 제어할 수 있다.

이상과 같이 본 실시 예에 따른 전자 장치(100)는 스테레오 이미지를 이용하여 피사체의 깊이를 판단하고, 판단된 깊이에 따라 AR 이미지를 생성하는바, 원근감에 모순이 없는 AR 이미지를 생성할 수 있게 된다.

도 2는 마커 이미지의 예를 도시한 도면이고, 도 3은 입력 이미지의 예를 도시한 도면이다.

도 2를 참조하면, 본 실시 예에 따른 마커(210, 220)는 기설정된 형상을 갖는다. 한편, 본 실시 예에 서는 두 가지 형상의 마커를 도시하였지만, 구현시에는 다른 형태의 마커를 이용할 수도 있다.

이와 같은 마커는 실제 환경상에 놓일 수 있으며, 그와 같은 환경에 놓인 마커를 촬상한 이미지는 도 3과 같다.

도 3을 참조하면, 테이블 후면에 마커가 놓여있다. 종래에는 도 3과 같은 2차원 이미지를 이용하여 AR 이미지를 생성하였지만, 이와 같은 경우 생성되는 AR 이미지는 도 12와 같게 된다. 즉, 2차원 이미지에서는 이미지 내의 피사체의 깊이 정도를 알 수 없는 바, 본 실시 예에서는 스테레오 이미지를 이용하여 피사체의 깊이를 산출하는 동작을 수행한다. 이와 같은 동작에 대해서 도 4 내지 도 7을 참조하여 이하에서 설명한다.

도 4는 본 실시 예에 따른 깊이 계산 동작을 설명하기 위한 도면이다.

도 4를 참조하면, 스테레오 이미지는 이격된 위치(초점 거리 간격)에서 동일한 지점(중앙점)을 촬상한 이미지로, 서로 이격된 위치에서 동일한 지점을 촬상하기 때문에 좌측 이미지에서의 피사체의 위치와 우측 이미지에서의 피사체의 위치는 상이해진다.

이와 같은 점을 이용하여, 스테레오 이미지 내의 피사체의 깊이를 계산할 수 있다. 구체적으로, 아래의 수학식 1을 이용하여 피사체의 깊이를 계산할 수 있다.

여기서 d는 피사체의 깊이, D는 초점 거리 간격, f는 초점 거리, x1은 좌측 화상에서의 차이, x2는 우측 화상에서의 차이이다.

이러한 수학식을 이용하여, 전자 장치(100)는 스테레오 이미지 내의 특징 점(예를 들어, 피사체) 각각에 대한 깊이 값을 산출한다. 한편, 산출된 깊이 값은 스테레오 이미지 내의 일부 지점에 불과하다는 점에서, 이하의 동작을 수행하여 스테레오 이미지 내의 각 영역에 대한 깊이 값을 산출하는 동작을 수행한다.

먼저, 도 5에 도시된 바와 같이 스테레오 이미지를 복수의 영역으로 구분한다. 구체적으로, 도 5는 영역분할(Split&Merge) 방법을 이용하여 스테레오 이미지를 복수의 영역으로 구분하는 동작을 도시한다.

영역 분할 방법이란, 우선 전체 영역을 하나로 보고, 이 영역이 주어진 유사성 측도를 만족시키는지를 판단하고, 만약 만족시키면 그 영역을 하나의 영역으로 보고, 그렇지 않은 경우에는 해당 영역을 다시 세분화한다(일반적으로 균일한 네 개의 영역으로 분할한다). 그리고 각각의 영역에서 다시 유사성 측도를 만족시키는지를 판단하고, 상술한 바와 같은 동작을 반복적으로 수행한다.

그러나 분할 동작만으로 사용하는 경우에는 영역이 너무 많이 세분화되어서 처리 과정의 효율성이 떨어지게 된다. 이와 같은 점을 방지하기 위하여, 분할 동작 이후에 child 영역에서의 유사성을 비교하여 유사한 경우에는 하나의 영역으로 병합(merge)하는 동작을 수행하여, 최종적으로 유사성을 갖는 복수의 영역으로 이미지를 분할 한다.

이와 같은 과정으로 스테레오 이미지를 복수의 영역으로 구분하였으면, 구분된 각 영역별로 깊이 값을 산출한다.

먼저, 스테레오 이미지상에서 깊이 값이 산출된 대응점을 이미지에 할당한다. 이와 같은 과정에 의한 결과는 도 6의 좌측 이미지와 같다.

한편, 도 5와 같은 과정에 의해 구분된 하나의 영역 내에 복수의 대응점이 존재하면, 하나의 영역 내의 복수의 대응점 각각의 깊이 값에 대한 평균값을 산출하고, 산출된 평균값을 해당 영역의 깊이 값으로 설정할 수 있다. 이와 같은 과정에 의한 결과는 도 6의 우측 이미지와 같다. 도 6의 우측 이미지에서 깊이 값이 할당된 영역은 어두운 회색으로 표시되어 있으며, 깊이 값이 할당되지 않은 영역은 밝은 회색으로 표시되어 있다.

그리고 구분된 영역에 대응점이 없는 경우에는 상하 좌우로 인접 영역의 깊이 값의 평균을 해당 영역의 깊이 값으로 설정하는 동작을 수행한다. 그리고 모든 영역의 깊이 값이 할당될 때까지 앞선 동작을 반복한다. 이와 같은 과정은 도 7에 도시되어 있다.

이와 같은 과정에 의하여 스테레오 이미지 내의 모든 영역에 대해서 깊이 값을 산출할 수 있다.

도 8은 CG 오브젝트의 랜더링 동작을 설명하기 위한 도면이다.

도 8을 참조하면, CG 오브젝트의 위치를 로컬 좌표의 원점으로 하여, CG 오브젝트를 랜더링한다. 이때, CG 오브젝트의 각 면의 모든 오브젝트의 깊이와 피사체의 깊이를 비교한다.

예를 들어, 도 8의 시선 벡터 A는 CG 오브젝트보다 피사체에 더 가깝기 때문에 랜더링을 수행하지 않으며, 시선 벡터 B는 CG 오브젝트보다 피사체가 더 멀기 때문에 랜더링을 수행한다. 이와 같은 처리를 모든 화소에 대해서 수행함으로써 피사체에 의하여 차폐 영역이 존재하는 CG 오브젝트에 대한 랜더링 이미지를 생성할 수 있다. 도 9는 이와 같은 과정에 의하여 생성된 랜더링 이미지의 예이다. 도 9를 참조하면, 파사체보다 깊게 배치되는 CG 오브젝트 영역에 대해서는 랜더링이 수행되지 않음을 확인할 수 있다.

도 10은 생성된 AR 이미지의 예를 도시한 도면이다.

도 10을 참조하면, 본 실시 예에 따른 생성되는 AR 이미지는 CG 오브젝트 중 피사체의 후면에 배치되는 영역은 차폐됨을 확인할 수 있다.

도 11은 본 발명의 일 실시 예에 따른 AR 이미지 생성 방법을 설명하기 위한 흐름도이다.

이격된 위치에서 피사체를 촬상한 스테레오 이미지를 입력받는다(S1110). 이때, 합성될 CG 오브젝트가 기저장되어 있지 않은 경우, 합성될 CG 오브젝트를 입력받을 수 있다. 그리고 촬상된 스테레오 이미지에 마커가 포함되어 있지 않은 경우에 CG 오브젝트의 위치 정보를 입력받을 수 있다.

입력된 스테레오 이미지를 이용하여 이미지 내의 각 영역에 대한 깊이 값을 산출한다(S1120). 깊이 값을 산출하는 동작에 대해서는 도 4 내지 도 7과 관련하여 앞서 설명하였는바, 중복 설명은 생략한다.

산출된 깊이 값 및 CG 오브젝트의 위치 정보를 기초로 CG 오브젝트에 대한 랜더링 이미지를 생성한다(S1130). CG 오브젝트를 랜더링하는 구체적인 동작에 대해서는 도 8과 관련하여 앞서 설명하였는바, 중복 설명은 생략한다.

그리고 생성된 CG 오브젝트에 대한 랜더링 이미지와 스테레오 이미지를 합성하여 AR 이미지를 생성한다(S1140). 이후에 생성된 AR 이미지를 표시하거나, 외부 장치에 전송하는 동작이 수행될 수 있다.

이상과 같이 본 실시 예에 따른 AR 이미지 생성 방법은 스테레오 이미지를 이용하여 피사체의 깊이를 판단하고, 판단된 깊이에 따라 AR 이미지를 생성하는바, 원근감에 모순이 없는 AR 이미지를 생성할 수 있게 된다. 도 11과 같은 AR 이미지 생성 방법은 도 1의 구성을 가지는 전자 장치 상에서 실시될 수 있으며, 그 밖의 구성을 가지는 전자 장치상에서도 실행될 수 있다.

또한, 상술한 바와 같은 AR 이미지 생성 방법은 상술한 바와 같은 AR 이미지 생성 방법을 실행하기 위한 적어도 하나의 실행 프로그램으로 구현될 수 있으며, 이러한 실행 프로그램은 컴퓨터 판독 기록매체에 저장될 수 있다.

따라서, 본 발명의 각 블록들은 컴퓨터 판독가능한 기록매체 상의 컴퓨터 기록 가능한 코드로써 실시될 수 있다. 컴퓨터 판독가능한 기록매체는 컴퓨터시스템에 의해 판독될 수 있는 데이터를 저장할 수 있는 디바이스가 될 수 있다.

이상에서는 본 발명의 바람직한 실시 예에 대해서 도시하고, 설명하였으나, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형 실시할 수 있는 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

100: 전자 장치 110: 입력부
120: 통신 인터페이스부 130: 사용자 인터페이스부
140: 저장부 150: 계산부
160: 랜더링부 170: 합성부
180: 제어부

Claims (19)

1. 전자 장치에 있어서,
   이격된 위치에서 피사체를 촬상한 스테레오 이미지 및 CG 오브젝트의 위치 정보를 입력받는 입력부;
   상기 입력된 스테레오 이미지를 복수의 영역으로 구분하고, 구분된 각 영역별 깊이 값을 계산하는 계산부;
   상기 계산된 각 영역별 깊이 값 및 상기 CG 오브젝트의 위치 정보를 이용하여 상기 CG 오브젝트에 대한 랜더링 이미지를 생성하는 랜더링부; 및
   상기 생성된 랜더링 이미지와 상기 스테레오 이미지를 합성하는 합성부;를 포함하는 전자 장치.
2. 제1항에 있어서,
   상기 계산부는,
   영역분할(split&merge) 방식으로 복수의 영역으로 구분하는 것을 특징으로 하는 전자 장치.
3. 제1항에 있어서,
   상기 계산부는,
   상기 이격된 스테레오 이미지 내의 피사체별 깊이 값을 계산하고, 상기 계산된 피사체별 깊이 값을 상기 구분된 복수의 영역에 할당하여, 상기 구분된 각 영역별 깊이 값을 계산하는 것을 특징으로 하는 전자 장치.
4. 제1항에 있어서,
   상기 스테레오 이미지는 상기 CG 이미지의 위치를 나타내는 마커를 포함하고,
   상기 입력부는,
   상기 스테레오 이미지 내의 마커 위치를 상기 CG 오브젝트의 위치 정보로 입력받는 것을 특징으로 하는 전자 장치.
5. 제1항에 있어서,
   상기 랜더링부는,
   상기 CG 오브젝트의 위치에 배치되는 CG 오브젝트의 각 면에 대한 오브젝트의 깊이와 피사체의 깊이를 비교하여 CG 오브젝트를 랜더링하는 것을 특징으로 하는 전자 장치.
6. 제5항에 있어서,
   상기 랜더링부는,
   피사체의 깊이보다 오브젝트의 깊이가 더 깊은 영역에 대해서는 CG 오브젝트에 대한 랜더링을 수행하지 않은 것을 특징으로 하는 전자 장치.
7. 제1항에 있어서,
   상기 랜더링부는,
   상기 CG 오브젝트에 대한 2차원 랜더링 이미지를 생성하는 것을 특징으로 하는 전자 장치.
8. 제7항에 있어서,
   상기 합성부는,
   상기 스테레오 이미지 중 하나의 이미지와 상기 생성된 2차원 이미지를 합성하여 2차원 AR 이미지를 생성하는 것을 특징으로 하는 전자 장치.
9. 제1항에 있어서,
   상기 합성된 AR 이미지를 표시하는 사용자 인터페이스부;를 더 포함하는 것을 특징으로 하는 전자 장치.
10. AR 이미지 생성 방법에 있어서,
    이격된 위치에서 피사체를 촬상한 스테레오 이미지 및 CG 오브젝트의 위치 정보를 입력받는 단계;
    상기 입력된 스테레오 이미지를 복수의 영역으로 구분하고, 구분된 각 영역별 깊이 값을 계산하는 단계;
    상기 계산된 각 영역별 깊이 값 및 상기 CG 오브젝트의 위치 정보를 이용하여 상기 CG 오브젝트에 대한 랜더링 이미지를 생성하는 단계; 및
    상기 생성된 랜더링 이미지와 상기 스테레오 이미지를 합성하는 단계;를 포함하는 AR 이미지 생성 방법.
11. 제10항에 있어서,
    상기 계산하는 단계는,
    영역분할(split&merge) 방식으로 복수의 영역으로 구분하는 것을 특징으로 하는 AR 이미지 생성 방법.
12. 제10항에 있어서,
    상기 계산하는 단계는,
    상기 이격된 스테레오 이미지 내의 피사체별 깊이 값을 계산하고, 상기 계산된 피사체별 깊이 값을 상기 구분된 복수의 영역에 할당하여, 상기 구분된 각 영역별 깊이 값을 계산하는 것을 특징으로 하는 AR 이미지 생성 방법.
13. 제10항에 있어서,
    상기 스테레오 이미지는 상기 CG 이미지의 위치를 나타내는 마커를 포함하고,
    상기 위치 정보를 입력받는 단계는,
    상기 스테레오 이미지 내의 마커 위치를 상기 CG 오브젝트의 위치 정보로 입력받는 것을 특징으로 하는 AR 이미지 생성 방법.
14. 제10항에 있어서,
    상기 랜더링 이미지를 생성하는 단계는,
    상기 CG 오브젝트의 위치에 배치되는 CG 오브젝트의 각 면에 대한 오브젝트의 깊이와 피사체의 깊이를 비교하여 CG 오브젝트를 랜더링하는 것을 특징으로 하는 AR 이미지 생성 방법.
15. 제14항에 있어서,
    상기 랜더링 이미지를 생성하는 단계는,
    피사체의 깊이보다 오브젝트의 깊이가 더 깊은 영역에 대해서는 CG 오브젝트에 대한 랜더링을 수행하지 않은 것을 특징으로 하는 AR 이미지 생성 방법.
16. 제10항에 있어서,
    상기 랜더링 이미지를 생성하는 단계는,
    상기 CG 오브젝트에 대한 2차원 랜더링 이미지를 생성하는 것을 특징으로 하는 AR 이미지 생성 방법.
17. 제16항에 있어서,
    상기 합성하는 단계는,
    상기 스테레오 이미지 중 하나의 이미지와 상기 생성된 2차원 이미지를 합성하여 2차원 AR 이미지를 생성하는 것을 특징으로 하는 AR 이미지 생성 방법.
18. 제10항에 있어서,
    상기 합성된 AR 이미지를 표시하는 단계;를 더 포함하는 AR 이미지 생성 방법.
19. AR 이미지 생성 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서,
    상기 AR 이미지 생성 방법은,
    이격된 위치에서 피사체를 촬상한 스테레오 이미지 및 CG 오브젝트의 위치 정보를 입력받는 단계;
    상기 입력된 스테레오 이미지를 복수의 영역으로 구분하고, 구분된 각 영역별 깊이 값을 계산하는 단계;
    상기 계산된 각 영역별 깊이 값 및 상기 CG 오브젝트의 위치 정보를 이용하여 상기 CG 오브젝트에 대한 랜더링 이미지를 생성하는 단계; 및
    상기 생성된 랜더링 이미지와 상기 스테레오 이미지를 합성하는 단계;를 포함하는 컴퓨터 판독가능 기록매체.

Images