KR101160224B1 - 증강 현실 제공 장치 및 방법 - Google Patents

Abstract

증강 현실 제공 장치는, 손실 압축된 컬러 정보 데이터와 무손실 압축된 투명도 정보 데이터를 포함하는 가상 영상 파일을 원본 가상 영상 데이터로 복원 처리한 후 실사 영상에 합성하여 증강 현실 화면을 생성한다. 이때, 실사 영상에 포함되는 피사체의 모션이 검출되면 상이한 가상 영상 파일을 실사 영상에 합성하여 변경된 증강 현실 화면을 생성한다.

Description

증강 현실 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING AUGMENTED REALITY}

본 발명은 증강 현실(Augmented Reality, AR) 기술에 관한 것으로, 더욱 상세하게는 실사 영상에 가상 영상을 합성하여 증강 현실을 제공하는 장치 및 방법에 관한 것이다.

최근 들어, 휴대용 단말기의 성능이 향상됨에 따라, 휴대용 단말기를 통해 처리할 수 있는 애플리케이션의 종류도 증가하고 있다. 예를 들어, 휴대용 단말기에 탑재되는 CPU의 처리속도 및 메모리 용량이 증가되고 있고, GPS 모듈, 카메라 모듈 또는 블루투스 모듈 등 각종 부가 모듈들이 추가되면서, 통신 기능 외에 각종 부가 기능을 수행할 수 있게 되었다. 특히, PDA나 스마트 폰 등과 같이 고성능의 휴대용 단말의 사용자들을 중심으로 부가 기능을 수행하는 애플리케이션을 주요 기능으로써 사용하는 사용자들이 폭발적으로 증가하고 있는 추세이다.

이러한 애플리케이션의 발전과 함께 대두되고 있는 기술로써 증강 현실(Augmented Reality, AR) 기술이 사용되고 있다. 증강 현실 기술은 사용자가 눈으로 보는 현실 세계에 가상 물체를 겹쳐서 보여주는 기술이다. 이와 같은, 증강 현실 기술은 현실 세계에 실시간으로 부가 정보를 갖는 가상 세계를 합쳐 하나의 영상으로 출력함으로써 혼합 현실(Mixed Reality, MR)이라고도 한다.

증강 현실 기술은, 컴퓨터 그래픽 등으로 만들어진 가상 환경을 통해 현실 환경에 필요한 정보를 추가 제공한다. 구체적으로, 증강 현실 기술에서는 사용자가 실제적으로 촬영하거나 보고 있는 실사 영상에 가상 영상을 합성(overlap)함으로써 현실 환경과 가상 화면과의 구분이 모호해지도록 한다. 예를 들어, 휴대용 단말기에 구비된 카메라로 주변 환경을 촬영하여 실시간으로 디스플레이할 때 해당 위치에 있는 상점의 위치, 전화번호 등의 정보를 포함하는 가상 영상을 함께 디스플레이할 수 있다.

증강 현실 기술에 사용되는 가상 영상은 실사 영상과 함께 디스플레이 되기 위하여 컬러 정보 및 투명도 정보를 포함하는 파일 포맷을 갖는다. 이처럼, 컬러 정보 및 투명도 정보를 포함하는 가상 영상의 원본 파일은 그 크기가 클 뿐만 아니라, 종래에 사용되고 있는 가상 영상은 파일 전체가 무손실 압축 처리되어 압축 처리 후에도 파일의 크기가 크게 줄지 않는다는 단점이 있었다.

그런데, 휴대용 단말기의 애플리케이션으로써 증강 현실 기술을 적용하고자 하는 경우 가상 영상은 휴대용 단말기 자체에 저장되거나 실시간으로 휴대용 단말기에 수신되어야 하므로 파일 크기가 작아지도록 압축하는 것이 중요하다. 따라서, 증강 현실 기술에 적용될 가상 영상을 원본 화질과 큰 차이가 없게 하면서도 크기를 감소시켜 휴대용 단말기 등에 효율적으로 저장할 수 있도록 하는 증강 현실 제공 장치 및 방법이 필요하다.

또한, 실사 영상에서 카메라를 통해 입력되는 피사체의 모션과 증강 현실 제공 장치 자체의 움직임을 구분하여 증강 현실을 제공할 수 있는 향상된 성능의 증강 현실 제공 장치 및 방법이 필요하다.

본 발명은 상술한 문제점을 해결하기 위한 것으로서, 본 발명의 실시예는 종래의 증강 현실 기술에 적용되던 가상 영상 파일의 크기를 효율적으로 감소시킬 수 있는 증강 현실 제공 장치 및 방법을 제공하고자 한다.

그리고, 본 발명의 실시예는 증강 현실 장치 자체의 움직임과 실제 촬영된 피사체의 모션을 구분하여 피사체의 모션 발생에 따라 증강 현실 화면을 제공할 수 있는 증강 현실 제공 장치 및 방법을 제공하고자 한다.

또한, 본 발명의 실시예는 피사체의 모션에 대응하여 가상 영상이 변경되는 증강 현실 화면을 제공할 수 있는 증강 현실 제공 장치 및 방법을 제공하고자 한다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로써, 본 발명의 제 1 측면은 손실 압축된 컬러 정보 데이터 및 무손실 압축된 투명도 정보 데이터를 포함하는 가상 영상 파일을 원본 가상 영상 데이터로 복원하는 가상 영상 처리부; 상기 복원된 원본 가상 영상 데이터를 실사 영상에 합성하여 증강 현실 화면을 생성하는 그래픽 제어부; 및 상기 생성된 증강 현실 화면을 출력하는 디스플레이부를 포함하는 증강 현실 제공 장치를 제공한다.

또한, 본 발명의 제 2 측면은 손실 압축된 컬러 정보 데이터와 무손실 압축된 투명도 정보 데이터를 포함하는 제 1 가상 영상 파일을 제 1 원본 가상 영상 데이터로 복원 처리하는 단계; 상기 제 1 원본 가상 영상 데이터를 실사 영상에 합성하여 제 1 증강 현실 화면을 생성하는 단계; 및 상기 생성된 제 1 증강 현실 화면을 출력하는 단계를 포함하는 증강 현실 제공 방법을 제공한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 컬러 정보 데이터는 손실 압축 처리되고 투명도 정보 데이터는 무손실 압축 처리되어 크기가 크게 감소된 가상 영상을 이용하여 증강 현실을 제공함으로써, 증강 현실 제공 장치의 저장 영역을 효율적으로 사용할 수 있는 효과가 있다.

그리고, 전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 증강 현실 제공 시 증강 현실 제공 장치 자체의 움직임과 실사 영상에서의 피사체 움직임을 구분하여 증강 현실 화면을 제공함으로써 증강 현실을 효율적으로 제공할 수 있다.

또한, 전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 증강 현실 제공 시 실사 영상의 피사체 모션에 따른 가상 영상 파일이 합성된 증강 현실 화면을 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 증강 현실 제공 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 듀얼 압축 처리 모듈의 구성도이다.
도 3은 본 발명의 실시예에 따른 듀얼 압축 방식이 적용된 가상 이미지를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 듀얼 복원 처리 모듈의 구성도이다.
도 5는 본 발명의 일실시예에 따른 증강 현실 제공 방법을 설명하기 위한 순서도이다.
도 6은 본 발명의 다른 실시예에 따른 증강 현실 제공 장치의 구성도이다.
도 7은 본 발명의 다른 실시예에 따른 모션 인식부의 구성을 나타내는 블록도이다.
도 8은 본 발명의 다른 실시예에 따른 모션 인식을 통해 제공되는 증강 현실 화면을 나타내는 도면이다.
도 9는 본 발명의 다른 실시예에 따른 증강 현실 제공 방법을 설명하기 위한 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

참고로, 하기에서 설명할 본 발명의 실시예에 따른 증강 현실 제공 장치의 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 구성 요소를 의미하며, 소정의 역할들을 수행한다. 그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.

도 1은 본 발명의 일실시예에 따른 증강 현실 제공 장치의 구성도이다.

그리고, 도 2는 본 발명의 실시예에 따른 듀얼 압축 처리 모듈의 구성도이고, 도 3은 본 발명의 실시예에 따른 듀얼 압축 방식이 적용된 가상 이미지를 나타내는 도면이다.

또한, 도 4는 본 발명의 실시예에 따른 듀얼 복원 처리 모듈의 구성도이다.

먼저, 도 1에서 나타낸 바와 같이, 본 발명의 일실시예에 따른 증강 현실 제공 장치(100)는, 저장부(110), 가상 영상 처리부(120), 그래픽 제어부(130), 카메라부(140) 및 디스플레이부(150)를 포함한다.

본 발명의 일실시예에 따른 증강 현실 제공 장치(100)에서는 입력되는 영상 파일을 압축 또는 복원 등의 영상 처리를 수행하고, 상기 영상 처리된 영상 파일을 실사 영상에 합성하여 증강 현실 화면을 생성한다. 이때, 증강 현실 제공 장치(100)에서 처리되는 영상 파일은 다수의 이미지 파일이 결합된 동영상 파일 이거나 이미지 파일 자체일 수 있으며, 하나의 이미지 파일은 다수의 이미지 요소(즉, 픽셀)로 구성된다.

특히, 본 발명의 일실시예에 따른 증강 현실 제공 장치(100)에서는 각 이미지 요소들에 대한 속성 정보 데이터를 이용하여 영상 파일을 압축 또는 복원 처리한다. 참고로, 증강 현실 제공 장치(100)는 속성 정보로써 컬러 정보 및 투명도 정보를 포함하는 영상 파일을 처리한다. 예를 들어, 증강 현실 제공 장치(100)는 ARGB 방식의 이미지 파일을 처리할 수 있으며, 상기 이미지 파일의 이미지 요소들에 대한 컬러 정보인 RGB(Red, Green, Bleu) 정보 데이터 및 투명도 정보인 알파(A, Alpha) 정보 데이터를 압축 또는 복원 처리한다.

저장부(110)는 실사 영상에 합성되어 증강 현실을 제공하기 위한 가상 영상 파일이 저장되어 있다. 이때, 본 발명의 실시예에 따른 가상 영상은 기설정된 압축 처리 방식(본 발명의 실시예에서는, “듀얼 압축 처리 방식”이라고 지칭함)으로 압축된 상태이며, 저장부(110)는 저장된 가상 영상을 가상 영상 처리부(120)의 요청에 따라 제공하여 복원 처리 되도록 한다.

가상 영상 처리부(120)는 증강 현실에 적용되는 가상 영상을 복원 처리하여 그래픽 제어부(130)로 제공한다. 이때, 가상 영상 처리부(120)는 각 영상 요소들에 대한 속성 정보 데이터를 이용하여 가상 영상 파일을 복원 처리한다.

가상 영상 처리부(120)는 속성 정보로써 컬러 정보 및 투명도 정보를 포함하는 가상 영상 파일을 처리한다. 예를 들어, 가상 영상 처리부(120)는 ARGB 방식의 영상 파일을 처리할 수 있으며, 상기 영상 파일의 이미지 요소들에 대한 컬러 정보인 RGB(Red, Green, Bleu) 정보 데이터 및 투명도 정보인 알파(A, Alpha) 정보 데이터를 복원 처리한다.

구체적으로, 가상 영상 처리부(120)는 도 1에서 나타낸 바와 같이 듀얼 복원 처리 모듈(121)을 포함하며, 저장부(110)에 저장된 가상 영상 파일을 획득하여 복원 처리한다.

이와 같은, 듀얼 복원 처리 모듈(121)의 복원 처리 방식을 설명하기에 앞서, 본 발명의 실시예에 따른 저장부(110)에 저장된 가상 영상 파일의 압축 처리 방식에 대해서 설명하기로 한다.

이때, 도 1에서는 본 발명의 실시예에 따른 가상 영상 처리부(120)에 듀얼 압축 처리 모듈(122)이 더 포함된 것을 나타내었다. 이와 같은 듀얼 압축 처리 모듈(122)은 도 1에서 나타낸 바와 같이 증강 현실 제공 장치(100) 내의 일 구성으로 포함될 수 있으며, 자체적으로 듀얼 압축 처리 장치로써 존재할 수 있다.

구체적으로, 도 2에서 나타낸 바와 같이, 듀얼 압축 처리 모듈(122)은 분할기(210), 제 1 인코더(220), 제 2 인코더(230) 및 결합기(240)를 포함한다.

이때, 듀얼 압축 처리 모듈(122)은 입력되는 영상 파일을 속성 정보 별로 상이한 압축 방식을 적용하여 압축 처리한다. 특히, 본 발명의 실시예에 따른 듀얼 압축 처리 모듈(122)은 입력되는 원본 영상 데이터의 컬러 정보 데이터는 손실 압축 처리하고, 투명도 정보 데이터는 무손실 압축 처리한다. 도 2에서는, 듀얼 압축 처리 모듈(122)에 ARGB 방식의 원본 영상 데이터가 입력되는 것을 나타내었다.

구체적으로, 분할기(210)는 입력되는 영상 파일을 둘 이상의 속성 정보 데이터로 분할한다. 이때, 본 발명의 실시예에 따른 분할기(210)는 입력되는 영상 파일을 컬러 정보 데이터 및 투명도 정보 데이터로 분할한다.

예를 들어, 도 2에서는 듀얼 압축 처리 모듈(122)에 ARGB 방식의 영상 파일이 입력되면, 분할기(210)가 입력된 영상 파일을 RGB 정보 데이터 및 A 정보 데이터로 분할하여 각각 제 1 및 제 2 인코더(220, 230)로 출력하는 것을 나타내었다.

이때, RGB 정보 데이터는 원본 영상 데이터에 포함된 각 픽셀들의 컬러 정보 값이고, A 정보 데이터는 원본 영상 데이터에 포함된 각 픽셀들의 투명도 정보 값이다. 예를 들어, RGB 정보 데이터의 R(Red) 성분, G(Green) 성분 및 B(Blue) 성분과, A 정보 데이터는 각각 한 픽셀 당 1, 4 및 8 비트 등의 다양한 비트 값을 가질 수 있다.

참고로, RGB 정보 값 및 A 정보 값은 각각 256 단계로 구분될 수 있다. 즉, 0 값부터 255 값까지로 구분되어 컬러 단계 및 투명도 단계를 표현한다. 이때, 영상 파일에서 A 정보 값이 0으로 설정되는 픽셀은 해당 RGB 정보 값이 그대로 표현되고, A 정보 값이 255로 설정되는 픽셀은 완전히 투명하게 표현된다.

제 1 인코더(220)는 입력되는 컬러 정보 데이터를 손실 부호화 처리하여 압축한다. 이때, 제 1 인코더(220)는 컬러 정보 데이터를 압축 처리할 시에 손실 데이터, 압축률, 디코딩 후 화질, 디코딩 속도 등을 고려하여 압축 방식을 설정할 수 있다.

본 발명의 실시예에 따른 제 1 인코더(220)는 색 공간 감소(Reducing the color space) 방식, 크로마 서브샘플링(Chroma sub-sampling) 방식, 양자화 및 엔트로피 코딩에 따른 변형 코딩(Transform coding followed by Quantization and Entropy coding) 방식, 및 프랙탈 압축(Fractal compression) 방식 등의 다양한 영상 압축 방식을 적용할 수 있다.

예를 들어, 제 1 인코더(220)는 영상 파일 표준 방식 중 JPEG 포맷으로 컬러 정보 데이터를 압축할 수 있다. 이와 같은, JPEG 포맷의 압축 방식을 적용할 경우 동일 화질에 대해서 높은 압축률로 영상 파일을 압축할 수 있으며, 영상 파일 내 고주파 계수의 양자화 정도 등을 조절할 수 있어 용량 조절이 가능하다는 장점이 있다.

이처럼, 제 1 인코더(220)를 통해 입력 영상 파일의 컬러 정보 데이터를 손실 압축함으로써, 원본 영상 데이터를 무손실 압축 처리할 때보다 데이터 크기를 줄이면서도 압축된 영상의 화질은 원본 영상과 유사하게 유지할 수 있다. 참고로, 영상 파일의 컬러 정보 데이터를 양자화 또는 JPEG 압축 등의 손실 압축 처리할 시에 원본 대 잡음 비율(Peak Signal-to-Noise Ratio)이 일정 값(예를 들어, 40dB) 이상이 되도록 압축 처리할 경우 시각적으로 화질에서 큰 차이를 구별할 수 없다. 따라서, 제1 인코더(120)는 입력 영상 파일의 컬러 정보 데이터를 적절한 압축률로 손실 압축하여 입력 영상 파일의 크기는 감소시키면서도 원본 화질과 유사한 화질을 유지할 수 있다.

제 2 인코더(230)는 입력되는 투명도 정보 데이터를 무손실 부호화 처리하여 압축한다. 참고로, 본 발명의 실시예에서는 영상 파일의 투명도 정보 데이터의 값이 해당 픽셀이 투명하게 표현되도록 하는 255 값과 해당 픽셀이 원래 컬러 그대로 표현되도록 하는 0 값 중 어느 하나로 설정될 가능성이 높다. 따라서, 제 2 인코더(230)는 투명도 정보 데이터를 무손실 압축 처리시 데이터 크기 및 디코딩 속도 등을 기준으로 적절한 무손실 압축 방식을 적용할 수 있다.

본 발명의 실시예에 따른 제 2 인코더(230)는 RLE(Run-length encoding) 방식, DPCM 및 예측 부호화(Predictive Coding) 방식, 엔트로피 코딩(Entropy encoding) 방식, 적응적 사전 알고리즘(Adaptive dictionary algorithms) 방식, Deflation 방식, 및 Chain codes 방식 등의 다양한 영상 압축 방식을 적용할 수 있다.

예를 들어, 제 2 인코더(230)는 엔트로피 코딩 방식인 Shannon-Fano, Shannon-Fano-Elias, Huffman, Adaptive Huffman, Arithmetic, Range, Golomb, Universal(Gamma, Exp-Golomb, Fibonacci, Levenshtein) 방식, 및 사전 알고리즘 방식인 RLE, Byte pair encoding, DEFLATE, Lempel-Ziv(LZ77/78, LZSS, LZW, LZWL, LZO, LZMA, LZX, LZRW, LZJB, LZT, ROLZ) 방식, CTW 방식, BWT 방식, PPM 방식, DMC 방식, 및 Delta 방식 중 어느 하나의 압축 방식을 적용하여 상기 투명도 정보 데이터를 무손실 압축할 수 있다.

이와 같은, 무손실 압축 방식들은 당업자가 쉽게 이해할 수 있는 일반적인 압축 방식들이므로 각 압축 방식에 대한 상세한 설명은 생략하도록 한다. 또한, 본 발명의 실시예에 따른 제 2 인코더(230)는 상기에서 언급한 무손실 압축 방식들 외의 다른 무손실 압축 방식을 적용하여 투명도 정보 데이터를 압축하는 것도 가능하다.

그리고, 제 1 인코더(220) 및 제 2 인코더(230)를 통해 각각 압축된 컬러 정보 데이터 및 투명도 정보 데이터는 결합기(240)에 입력된다.

결합기(240)는 속성 정보 데이터의 종류 별로 상이한 압축(이하, “듀얼 압축”이라고 함) 방식으로 압축된 컬러 정보 데이터 및 투명도 정보 데이터를 결합하여 가상 영상 파일을 생성한다. 이때, 결합기(240)는 듀얼 압축된 컬러 정보 데이터 및 투명도 정보 데이터가 이미지 요소 즉, 픽셀 별로 매칭되도록 결합할 수 있다.

이때, 결합기(240)는 가상 영상 파일이 속성 데이터 별로 상이한 압축 방식 즉, 듀얼(dual) 압축 방식으로 압축된 것을 식별할 수 있도록 하는 확장자 또는 식별 정보 등을 포함하는 가상 영상 파일을 생성할 수 있다. 또한, 결합기(240)는 가상 영상 파일의 컬러 정보 데이터의 손실 압축 방식과 투명도 정보 데이터의 무손실 압축 방식의 종류를 식별할 수 있도록 하는 각각의 압축 포맷 정보를 포함하는 가상 영상 파일을 생성할 수 있다.

그리고, 결합기(240)는 생성된 가상 영상 파일을 저장부(110)에 저장한다.

한편, 본 발명의 실시예에 따른 듀얼 압축 처리 모듈(122)에 입력되는 영상 파일은 사전에 특정 영상 파일 포맷으로 기압축된 영상일 수 있다. 참고로, 상기 ARGB 방식을 적용한 영상 파일 포맷은 PNG 포맷, GIF 포맷 및 TIF 포맷 등의 영상 파일 포맷 중 어느 하나일 수 있다.

이와 같이, 듀얼 압축 처리될 영상 파일이 특정 영상 파일 포맷으로 기압축된 경우, 듀얼 압축 처리 모듈(122)은 기압축된 영상 파일을 원본 영상 데이터로 복원한 후 듀얼 압축을 수행할 수 있다.

즉, 도 2에서 나타낸 바와 같이, 듀얼 압축 처리 모듈(122)은 원본 영상 복원기(250)를 더 포함할 수 있다. 이때, 원본 영상 복원기(250)는 입력되는 영상 파일의 포맷을 확인하여 해당 포맷에 상응하는 복호화 방식을 적용하여 특정 영상 파일 포맷의 영상 파일을 원본 영상 데이터로 복원한다. 그리고, 원본 영상 복원기(250)는 복원한 원본 영상 데이터를 분할기(210)로 출력한다.

이처럼, 본 발명의 실시예에 따른 듀얼 압축 처리 모듈(122)은 입력되는 원본 영상 파일(또는 특정 영상 파일 포맷으로 기압축된 영상 파일)의 컬러 정보 데이터는 손실 압축 처리하고 투명도 정보 데이터는 무손실 압축 처리하는 듀얼 압축 방식을 수행함으로써, 압축된 영상 파일의 화질은 원본 영상의 화질과 유사하게 유지하면서도 데이터 크기를 크게 줄일 수 있다.

예를 들어, 도 3에서는 본 발명의 실시예에 따른 듀얼 영상 압축 방식을 적용한 영상 파일의 크기가 상기 기압축된 영상 파일의 크기보다 크게 작아지는 것을 나타내었다.

구체적으로, 도 3에서는 듀얼 압축 처리 모듈(122)이 ARGB 방식의 이미지 파일을 압축 처리한 것을 나타내었다.

이때, 도 3에서는 특정 영상 포맷으로 기압축된 이미지 파일(P310)은 투명하게 표현되는 영역(P311)의 각 속성 정보 데이터와 원래의 컬러가 그대로 표현되는 영역(P312)의 각 속성 정보 데이터를 모두 무손실 압축 처리한 것을 나타내었다.

그리고, 도 3에서는 본 발명의 실시예에 따른 듀얼 압축 방식을 적용한 이미지 파일이 투명도 정보(즉, A 정보 데이터)와 컬러 정보(즉, RGB 정보 데이터)로 분할된 것을 나타내었다.

구체적으로, 도 3에서는 본 발명의 실시예에 따른 듀얼 압축 방식을 적용한 이미지 파일의 전체 영역 중 투명하게 표현될 영역(P320)의 투명도 값과 RGB 값들이 표현될 영역(P330, P340)의 투명도 값들은 무손실 압축 처리되어 10835 바이트로 압축되고, 전체 영역의 RGB 값들은 손실 압축 처리되어 22497 ~ 79503 바이트로 압축된 것을 나타내었다.

즉, 도 3에서와 같이 원본 이미지의 ARGB 데이터를 그대로 압축 처리한 상기 기압축된 이미지(P310)의 크기가 107213 바이트일 때, 동일한 원본 이미지를 본 발명의 실시예에 따른 듀얼 압축 방식으로 압축 처리한 이미지의 크기는 33332 ~ 90338 바이트로써, 듀얼 압축 방식을 적용한 이미지(즉, 가상 이미지)의 크기가 크게 줄어든 것을 알 수 있다. 한편, 도시된 이미지(P312, P340)의 경우, 설명의 간단을 위해, 해칭처리되어 도시되었으며, 실제 실시화면에서는 여러 형태의 이미지로 구성될 수 있다.

다시 도 1로 돌아가서, 본 발명의 실시예에 따른 듀얼 복원 처리 모듈(121)은 저장부(110)로부터 듀얼 압축 처리된 영상 데이터(즉, 가상 영상 데이터)를 획득하고, 가상 영상 데이터의 속성 정보 별로 상이한 복원 방식을 적용하여 복원 처리한다.

특히, 본 발명의 실시예에 따른 듀얼 복원 처리 모듈(121)은 가상 영상 데이터의 컬러 정보 데이터는 손실 압축 방식에 상응하는 복원 방식으로 처리하고, 투명도 정보 데이터는 무손실 압축 방식에 상응하는 복원 방식으로 처리한다.

구체적으로, 도 4에서와 같이 듀얼 복원 처리 모듈(121)은 분할기(310), 제 1 디코더(320), 제 2 디코더(330) 및 결합기(240)를 포함한다.

분할기(310)는 입력되는 듀얼 압축된 가상 영상 데이터를 둘 이상의 압축된 속성 정보 데이터로 분할한다. 이때, 본 발명의 실시예에 따른 분할기(310)는 입력되는 가상 영상 데이터를 압축된 컬러 정보 데이터 및 압축된 투명도 정보 데이터로 분할한다.

예를 들어, 도 4에서는 듀얼 복원 처리 모듈(121)에 ARGB 방식의 가상 영상 데이터가 입력되면, 분할기(310)가 가상 영상 데이터를 압축된 RGB 정보 데이터 및 압축된 A 정보 데이터로 분할하여 각각 제 1 및 제 2 디코더(320, 330)로 출력하는 것을 나타내었다.

참고로, 듀얼 복원 처리 모듈(121)은 저장부(110)에 저장된 가상 영상 파일을 획득하여 듀얼 복원 처리할 수 있으며, 외부로부터 입력되는 가상 영상 파일을 듀얼 복원 처리할 수 있다. 이때, 듀얼 복원 처리 모듈(121)은 입력되는 영상 파일의 확장자 또는 식별 정보 등을 확인하여 해당 영상 파일이 듀얼 압축된 가상 영상 파일인 것을 식별할 수 있다.

제 1 디코더(320)는 입력되는 손실 압축된 컬러 정보 데이터(예를 들어, RGB 정보 데이터)를 해당 압축 방식에 상응하는 복원 방식으로 복원 처리한다.

제 2 디코더(330)는 입력되는 무손실 압축된 투명도 정보 데이터(예를 들어, A 정보 데이터)를 해당 압축 방식에 상응하는 복원 방식으로 복원 처리한다.

이때, 제 1 및 제 2 디코더(320, 330)는 각각 입력되는 압축된 컬러 정보 데이터 및 투명도 정보 데이터의 압축 포맷을 확인하고, 해당 압축 포맷에 상응하는 복호화 방식을 적용하여 해당 듀얼 압축 영상을 복원한다.

그리고, 제 1 및 제 2 디코더(320, 330)는 복원된 각 속성 정보 데이터들을 결합기(340)로 출력한다.

결합기(340)는 속성 정보 종류 별로 상이한 복원 방식(즉, 듀얼 복원 방식)으로 복원된 컬러 정보 데이터 및 투명도 정보 데이터를 결합하여 원본 가상 영상 데이터를 생성한다. 이때, 결합기(340)는 복원된 컬러 정보 데이터 및 투명도 정보 데이터가 이미지 요소 즉, 픽셀 별로 매칭되도록 결합할 수 있다.

다시 도 1로 돌아가서, 그래픽 제어부(130)는 복원 처리된 가상 영상 파일을 실사 영상에 합성하여 디스플레이부(150)를 통해 증강 현실 화면으로 출력함으로써 증강 현실을 제공한다. 또한, 그래픽 제어부(130)는 카메라부(140)를 통해 입력된 실사 영상을 디스플레이부(150)를 통해 출력할 수 있다.

구체적으로, 그래픽 제어부(130)는 카메라부(140)로부터 실사 영상을 수신하고, 수신된 실사 영상에 기설정된 가상 영상을 합성하여 증강 현실 화면을 생성한다.

이때, 그래픽 제어부(130)는 증강 현실 제공 장치(100)에 포함되는 사용자 인터페이스부(미도시)를 통해 사용자가 증강 현실 제공 요청을 입력하거나 카메라부(140)를 통해 촬영된 실사 영상이 입력되면, 가상 영상 처리부(120)에 가상 영상 요청을 전송한다.

그런 다음, 그래픽 제어부(130)는 원본 가상 영상 파일을 수신하면, 상기 입력된 실사 영상에 상기 원본 가상 영상을 합성하여 증강 현실 화면을 생성한다. 이때, 상기 원본 가상 영상 파일은 저장부(110)에 기저장되어 있던 가상 영상 파일을 가상 영상 처리부(122)가 듀얼 복원 처리한 영상 파일이다. 참고로, 그래픽 제어부(130)는 상기 실사 영상과 상기 원본 가상 영상의 각 이미지 요소(즉, 픽셀) 별로 속성 정보 데이터를 매칭하여 합성할 수 있다.

카메라부(140)는 렌즈를 통해 입사되는 영상(즉, 실사 영상)을 그래픽 제어부(130)로 전송한다. 참고로, 이와 같이 전송되는 영상은 저장부(110)에 저장될 수 있다.

디스플레이부(150)는 증강 현실 제공 장치(100)에 구비되는 영상 출력 수단(예를 들어, 모니터, 액정 화면 등)에 그래픽 제어부(130)를 통해 생성되는 증강 현실 영상을 출력한다.

또한, 디스플레이부(150)는 카메라부(140)을 통해 입력되는 피사체를 출력할 수 있으며, 터치 스크린 방식의 디스플레이부(150)는 입력 수단으로 사용될 수 있다.

이하, 도 5를 참조하여 본 발명의 일실시예에 따른 증강 현실 제공 방법에 대해서 상세히 설명하도록 한다.

도 5는 본 발명의 일실시예에 따른 증강 현실 제공 방법을 설명하기 위한 순서도 이다.

도 5에서와 같이, 본 발명의 일실시예에 따른 증강 현실 제공 방법에서는 먼저, 기저장된 듀얼 압축 영상을 획득한다(S510).

이때, 상기 듀얼 압축 영상은 증강 현실 화면 생성 시 실사 영상에 합성될 가상 영상으로서, 다수의 속성 정보 데이터가 상이한 압축 방식으로 압축 처리된 영상 파일이다.

구체적으로, 상기 듀얼 압축 영상은 각 이미지 요소 별 컬러 정보 데이터가 손실 압축 처리되고, 투명도 정보 데이터가 무손실 압축 처리된 후 결합되어 생성된 영상 파일이다.

다음으로, 듀얼 복원 방식으로 원본 가상 영상을 복원한다(S520).

이때, 상기 듀얼 압축 영상 즉, 압축된 가상 영상을 각 속성 정보 데이터를 압축 처리한 압축 포맷에 대응하는 복호화 방식으로 각각 복원 처리(즉, 듀얼 복원 처리)한다.

구체적으로, 상기 듀얼 복원 방식에 따르면, 상기 듀얼 압축 영상을 각각 압축된 속성 정보 데이터 별로 분할하고, 분할된 속성 정보 데이터를 각각 압축 방식에 대응하는 복호화 방식으로 처리한 후 결합하여 원본 가상 영상을 복원한다.

그런 다음, 복원된 원본 가상 영상을 실사 영상에 합성하여 증강 현실 화면을 생성한다(S530).

이때, 상기 복원된 원본 가상 영상과 상기 실사 영상을 각 이미지 요소(즉, 픽셀) 별로 속성 정보 데이터를 매칭하여 결합함으로써 증강 현실 화면을 생성할 수 있다.

다음으로, 생성된 증강 현실 화면을 영상 출력 수단을 통해 출력한다(S540).

이처럼, 본 발명의 일실시예에 따른 증강 현실 제공 방법에 따르면, 속성 정보 데이터의 종류 별로 상이한 압축 방식으로 압축 처리된 가상 영상 파일을 복원 처리한 후 증강 현실을 제공할 수 있다. 따라서, 종래의 가상 영상 데이터를 원본 그대로 저장해두거나, 속성 정보 데이터의 종류에 관계없이 동일한 압축 포맷으로 압축하여 저장해 둘 경우에 비해 상대적으로 적은 크기의 가상 영상 파일을 저장할 수 있어 메모리 효율을 높일 수 있다.

이하, 도 6 내지 도 9를 참조하여 본 발명의 다른 실시예에 따른 증강 현실 제공 장치 및 방법에 대해서 상세하게 설명하도록 한다.

도 6은 본 발명의 다른 실시예에 따른 증강 현실 제공 장치의 구성도이다.

그리고, 도 7은 본 발명의 다른 실시예에 따른 모션 인식부의 구성을 나타내는 블록도이며, 도 8은 본 발명의 다른 실시예에 따른 모션 인식을 통해 제공되는 증강 현실 화면을 나타내는 도면이다.

먼저, 도 6에서 나타낸 바와 같이, 본 발명의 다른 실시예에 따른 증강 현실 제공 장치(600)는 저장부(610), 가상 영상 처리부(620), 그래픽 제어부(630), 모션 인식부(640), 카메라부(650) 및 디스플레이부(660)를 포함한다.

이때, 본 발명의 다른 실시예에 따른 증강 현실 제공 장치(600)는 장치 자체의 움직임 검출 및 피사체의 움직임 검출 등의 모션 인식을 적용하여 증강 현실 화면을 제공하는 것을 제외하고는, 상기 도 1에서 설명한 본 발명의 일실시예에 따른 증강 현실 제공 장치(100)와 동일 또는 유사하다.

즉, 본 발명의 다른 실시예에 따른 증강 현실 제공 장치(600)의 각 부는 본 발명의 일실시예에 따른 증강 현실 제공 장치(100)에서 각각 대응하는 부의 동작을 포함하는 개념이다. 이때, 저장부(610)는 도 1의 저장부(110)에 대응하고, 가상 영상 처리부(620)는 도 1의 가상 영상 처리부(120)에 대응하고, 그래픽 제어부(630)는 도 1의 그래픽 제어부(130)에 대응하며, 카메라부(650)는 도 1의 카메라부(140)에 대응하며, 디스플레이부(660)는 도 1의 디스플레이부(150)에 대응한다.

따라서, 설명의 편의상 도 6에서 나타낸 모션 인식부(640)의 동작을 통한 증강 현실 제공 방식을 제외한 증강 현실 제공 장치(600)의 나머지 각 부들에 대한 상세한 설명은 생략하도록 한다.

본 발명의 다른 실시예에 따른 증강 현실 제공 장치(600)는 실사 영상에 가상 영상을 합성한 증강 현실 화면을 제공하고, 상기 실사 영상으로부터 피사체의 모션이 검출되면 증강 현실 화면을 변경하여 제공하는 증강 현실 애플리케이션을 실행한다.

구체적으로, 그래픽 제어부(630)는 증강 현실 애플리케이션 실행 시 카메라부(650)를 통해 촬영되는 실사 영상에 기설정된 가상 영상을 합성하여 증강 현실 화면을 출력한다. 이때, 가상 영상은 상기 듀얼 복원 처리된 영상 데이터이다.

이때, 그래픽 제어부(630)는 증강 현실 애플리케이션 실행 시 상기 실사 영상에 기준 가상 영상 파일을 합성하여 증강 현실 화면을 출력한다. 참고로, 기준 가상 영상 파일은 저장부(610)에 저장되어 있던 기준 가상 영상 파일을 가상 영상 처리부(620)를 통해 듀얼 복원 방식으로 복원하여 생성한 원본 가상 영상 데이터이다.

그리고, 그래픽 제어부(630)는 상기 증강 현실 화면이 출력된 이후 상기 실사 영상의 피사체의 모션이 인식되면 상기 실사 영상에 상기 기준 가상 영상 파일과 상이한 가상 영상 파일을 합성하여 증강 현실 화면을 출력한다. 참고로, 상기 상이한 가상 영상 파일은 상기 기준 가상 영상 파일에 상응하여 기저장된 적어도 하나의 가상 영상 파일 중 어느 하나이며, 상기 피사체의 모션에 따라 선택될 수 있다.

이때, 그래픽 제어부(630)는 모션 인식부(640)로부터 증강 현실 애플리케이션에 대한 제어 신호를 수신하면 상기 기준 가상 영상과 상이한 가상 영상 파일이 합성된 증강 현실 화면을 출력할 수 있다.

한편, 본 발명의 다른 실시예에 따른 그래픽 제어부(630)는 실사 영상에서의 피사체의 모션이 인식되면 가상 영상 파일이 변경된 증강 현실 화면이 출력되도록 제어하고, 증강 현실 제공 장치(600) 자체의 움직임이 검출되면 가상 영상 파일이 변경되지 않은 상태의 증강 현실 화면이 출력되도록 제어할 수 있다.

이하, 도 7 및 도 8을 참조하여 본 발명의 다른 실시예에 따른 증강 현실 제공 장치(600)가 피사체의 모션을 인식하는 방법에 대해서 상세히 설명하도록 한다.

이때, 모션 인식부(640)는 카메라부(650)로부터 전송된 실사 영상에 기초하여 피사체의 모션 또는 증강 현실 제공 장치(600) 자체의 움직임을 검출한다. 이때, 인식된 피사체의 모션은 증강 현실 애플리케이션의 동작을 제어하는 제어 신호로써 사용된다.

구체적으로, 도 7에서와 같이 모션 인식부(640)는 실사 영상 관리 모듈(641), 피사체 모션 검출 모듈(642) 및 제어 신호 생성 모듈(643)을 포함한다.

먼저, 실사 영상 관리 모듈(641)은 카메라부(650)를 통해 전송되는 실사 영상을 각 프레임 별로 식별하여 관리한다. 이러한, 실사 영상의 각 프레임은 저장부(610)에 저장될 수 있다. 이때, 실사 영상의 각 프레임은 휘도(Y) 정보, 제 1 색차(Cr) 정보 및 제 2 색차(Cb) 정보를 포함한다.

피사체 모션 검출 모듈(642)은 카메라부(650)를 통해 촬영된 실사 영상에 대해 피사체의 모션을 검출하고, 피사체의 모션이 발생한 경우 모션 발생에 따른 검출 값을 제어 신호 생성 모듈(643)에 전송한다. 예를 들어, 상기 피사체의 모션은 증강 현실 제공 장치(600)의 카메라 렌즈의 전면에서 피사체가 움직일 때 발생될 수 있다.

구체적으로, 피사체 모션 검출 모듈(642)은 실사 영상 관리 모듈(641)을 통해 실사 영상을 프레임 단위로 수신하고, 수신된 프레임에 대해 각 픽셀의 휘도(Y) 정보의 변화 여부 또는 제 1 색차(Cr) 정보 및 제 2 색차(Cb) 정보의 변화 여부에 기초하여 피사체 모션을 검출할 수 있다.

이때, 피사체 모션 검출 모듈(642)은 제 1 프레임과 제 2 프레임에서 서로 대응하는 위치의 픽셀에 대하여 휘도(Y) 정보의 변화 여부 또는 제 1 색차(Cr) 정보 및 제 2 색차(Cb) 정보의 변화 여부를 검출한다. 참고로, 상기 제 1 프레임은 상기 제 2 프레임보다 시간적으로 앞서서 촬영된 프레임이다.

그런 다음, 피사체 모션 검출 모듈(642)은 제 2 프레임에 포함된 전체 픽셀 중 제 1 프레임의 대응되는 위치의 픽셀과의 휘도 차이가 기설정된 임계값(이하, ‘제 1 임계값’이라고 함)을 초과한 픽셀(이하, “휘도 변경 픽셀”이라고 함)의 개수를 산출한다. 그리고, 피사체 모션 검출 모듈(642)은 상기 휘도 변경 픽셀 개수가 기설정된 임계값(이하, ‘제 2 임계값’이라고 함)을 초과하였는지 여부에 따라 피사체의 모션이 발생하였는지 판단한다.

예를 들어, 피사체 모션 검출 모듈(642)은 상기 제 2 임계값이 프레임 당 전체 픽셀의 50%에 해당하는 값이라면, 상기 휘도 변경 픽셀 개수가 제 2 임계값을 초과한 경우 피사체의 모션이 발생한 것으로 판단하게 된다.

또한, 피사체 모션 검출 모듈(642)은 제 1 프레임 및 제 2 프레임의 각 픽셀의 제 1 색차(Cr) 정보 또는 제 2 색차(Cb) 정보를 비교하여 피사체의 모션을 검출할 수 있다. 이때, 본 발명의 다른 실시예에 따른 피사체 모션 검출 모듈(642)은 상기 휘도 정보에 기초한 피사체의 모션 검출, 상기 제 1 색차 정보에 기초한 피사체의 모션 검출, 및 상기 제 2 색차 정보에 기초한 피사체의 모션 검출 중 적어도 하나를 결합하여 피사체의 모션을 검출할 수 있다.

한편, 본 발명의 다른 실시예에 따른 피사체 모션 검출 모듈(642)은 기설정된 관심 영역을 기준으로 피사체 모션을 검출할 수 있다. 이러한, 관심 영역은 증강 현실 화면을 제공하기 위한 가상 영상 파일의 속성 데이터 중 투명도 정보 데이터 값을 이용하여 설정할 수 있다.

이때, 피사체 모션 검출 모듈(642)은 실사 영상에 기합성된 가상 영상 파일의 투명도 정보 데이터 값을 이용하여 기준 관심 영역을 설정하고, 실사 영상에서 상기 기준 관심 영역에 대응하는 영역을 관심 영역으로 설정한다.

구체적으로, 피사체 모션 검출 모듈(642)은 실사 영상의 제 1 프레임에 기합성된 가상 영상 파일(이하, “제 1 가상 영상 파일” 이라고 함)의 투명도 정보 데이터 값을 확인하여 원래의 컬러 정보 값이 그대로 표현될 영역의 정보(예를 들어, 해당 픽셀들의 위치 정보 등)를 검출한다. 참고로, 제 1 가상 영상 파일은 가상 영상 처리부(620)로부터 듀얼 복원 방식으로 복원된 가상 영상 데이터이다. 이때, 제 1 가상 영상 파일은 저장부(610)에 기저장되어 있으며, 제 1 가상 영상 파일과 매칭되는 적어도 하나의 가상 영상 파일이 저장부(610)에 기저장되어 있다.

그리고, 피사체 모션 검출 모듈(642)은 제 1 가상 영상 파일에서 상기 원래의 컬러 정보 값이 그대로 표현될 영역과 투명하게 표현될 영역의 경계 픽셀을 이용하여 상기 기준 관심 영역을 설정한다. 이때, 상기 기준 관심 영역은 상기 경계 픽셀로부터 상, 하, 좌, 우 방향 중 적어도 하나의 방향에 대해 기설정된 범위만큼의 픽셀이 포함되도록 설정될 수 있다. 참고로, 상기 기설정된 범위는 일정 개수의 픽셀 개수 또는 일정 크기의 이미지 요소 블록으로 설정될 수 있다.

그런 다음, 피사체 모션 검출 모듈(642)은 실사 영상의 제 1 프레임과 제 2 프레임의 전체 픽셀 중 상기 기준 관심 영역과 대응하는 픽셀 영역을 상기 관심 영역으로 설정하고, 상기 관심 영역 내에서 피사체의 모션을 검출한다.

이때, 피사체 모션 검출 모듈(642)은 상기에서 설명한 바와 같이 제 1 프레임 및 제 2 프레임 간에 상기 관심 영역 내의 상기 휘도 정보에 기초한 피사체의 모션 검출, 상기 제 1 색차 정보에 기초한 피사체의 모션 검출, 및 상기 제 2 색차 정보에 기초한 피사체의 모션 검출 중 적어도 하나를 결합하여 피사체의 모션을 검출할 수 있다.

또한, 피사체 모션 검출 모듈(642)은 상기 관심 영역 내에서 피사체의 모션이 검출되면, 피사체의 모션이 검출된 위치 정보(이하, “모션 발생 위치 정보”라고 함)를 제어 신호 생성 모듈(643)로 전송할 수 있다. 이때, 피사체 모션 검출 모듈(642)은 상기 관심 영역을 상, 하, 좌, 우 방향으로 구분하여 각 방향에 대응하도록 상기 관심 영역을 각각 설정된 범위의 픽셀을 포함하는 복수의 블록으로 나누어 설정할 수 있다.

제어 신호 생성 모듈(643)은 피사체의 모션 발생에 따른 검출 값을 증강 현실 제공 장치(600)에서 실행되는 증강 현실 애플리케이션의 동작을 제어하는 제어 신호로 변환한다.

구체적으로, 제어 신호 생성 모듈(643)은 피사체 모션 검출 모듈(642)을 통해 상기 검출 값이 수신되면, 실사 영상에 합성될 가상 영상 파일을 변경하기 위한 제어 신호를 생성하여 그래픽 제어부(630)로 전송한다.

다음으로, 그래픽 제어부(630)는 입력되는 제어 신호에 따라 실사 영상에 기합성된 가상 영상 파일(즉, 제 1 가상 영상 파일)을 다른 가상 영상 파일(이하, “제 2 가상 영상 파일”이라고 함)로 변경하여 합성한다. 이때, 상기 제 2 가상 영상 파일은 가상 영상 처리부(620)를 통해 듀얼 복원 방식으로 복원된 제 2 가상 영상 데이터이다. 그리고, 제 2 가상 영상 파일은 제 1 가상 영상 파일에 대해 매칭되어 기저장된 복수의 가상 영상 파일 중 어느 하나일 수 있다.

예를 들어, 도 8에서는 가상 영상에서 투명하게 표현되어 실사 영상이 그대로 나타나는 배경 화면(P80), 가상 영상에서 컬러 정보가 그대로 표현되는 캐릭터(P81-1, P81-2) 및 실사 영상에서 모션을 인식할 대상인 피사체(P82)를 포함하는 증강 현실 애플리케이션 화면(P800)을 나타내었다. 이때, 도시된 캐릭터(P81-1, P81-2)의 경우, 설명의 간단을 위해, 해칭처리되어 도시되었으며, 실제 실시화면에서는 여러 형태의 이미지로 구성될 수 있다.

이때, 도 8에서 나타낸 관심 영역(P83) 내에서 피사체(P82)가 이동을 할 경우, 제어 신호 생성 모듈(643)은 피사체 모션 검출 모듈(642)로부터 피사체 모션 발생에 따른 검출 값을 수신하여 상기 제어 신호를 생성하여 그래픽 제어부(630)로 전송한다. 참고로, 도 8에서는 사각형 형태의 관심 영역(P83)을 나타내었으나, 이는 다양한 형태로 설정될 수 있다.

다음으로, 그래픽 제어부(630)는 도 8에서와 같이 실사 영상에 기합성되었던 가상 영상을 다른 가상 영상으로 변경한 증강 현실 화면을 생성한다. 즉, 도 8에서 나타낸 바와 같이, 실사 영상에 합성된 가상 영상의 캐릭터(P81-1)가 다른 캐릭터(P81-2)로 변경된 것을 알 수 있다.

한편, 본 발명의 다른 실시예에 따른 제어 신호 생성 모듈(643)은 피사체 모션 검출 모듈(642)을 통해 피사체 모션이 발생된 관심 영역의 위치 정보 즉, 모션 발생 위치 정보를 수신할 수 있다. 이때, 제어 신호 생성 모듈(643)은 모션 발생 위치 정보를 포함하는 제어 신호를 생성하여 그래픽 제어부(630)로 전송한다.

다음으로, 그래픽 제어부(630)는 입력되는 제어 신호에 따라 실사 영상에 기합성된 가상 영상 파일(즉, 제 1 가상 영상 파일)을 상기 모션 발생 위치 정보에 대응하는 가상 영상 파일(이하, “제 3 가상 영상 파일”이라고 함)로 변경하여 합성한다. 이때, 상기 모션 발생 위치 정보에 대응하는 가상 영상 파일은 상기 제 2 가상 영상 파일과 마찬가지로 상기 제 2 가상 영상 파일과 다른 영상 파일이다. 또한, 상기 제 3 가상 영상 파일은 상기 제 1 가상 영상 파일에 대해 매칭되어 기저장된 복수의 가상 영상 파일 중 상기 모션 발생 위치 별로 기설정된 영상 파일이다. 즉, 상기 모션 발생 위치가 상, 하, 좌, 우 방향으로 구분될 경우, 상기 제 3 가상 영상 파일은 상기 각 방향에 대응하여 기설정될 수 있다.

이와 같이, 본 발명의 다른 실시예에 따른 증강 현실 제공 장치(600)는 실사 영상에 대해서 피사체의 모션이 발생된 위치에 따른 가상 영상 파일(예를 들어, 스틸 컷)이 출력되는 증강 현실 화면을 제공할 수 있다.

한편, 본 발명의 다른 실시예에 따른 증강 현실 제공 장치(600)는 실사 영상의 피사체 모션 발생과 증강 현실 제공 장치(600) 자체의 움직임 발생을 구분하여 실사 영상에 변경된 가상 영상이 합성되는 증강 현실 애플리케이션을 실행할 수 있다.

이때, 도 7에서 나타낸 바와 같이 본 발명의 다른 실시예에 따른 증강 현실 제공 장치(600)는 장치 움직임 검출 모듈(644)을 더 포함할 수 있다.

구체적으로, 장치 움직임 검출 모듈(644)은 실사 영상의 각 프레임의 픽셀 간의 휘도(Y) 정보를 비교하여, 증강 현실 제공 장치(600) 자체의 움직임을 검출한다. 그리고, 장치 움직임 검출 모듈(644)은 증강 현실 제공 장치(600) 자체의 움직임 발생에 따른 검출 값을 제어 신호 생성 모듈(643)으로 전송한다.

이때, 장치 움직임 검출 모듈(644)은 실사 영상의 제 1 프레임과 제 2 프레임의 전체 픽셀에 대하여 휘도(Y) 정보의 변경 여부를 확인하고, 휘도가 변경된 픽셀의 개수가 임계값을 초과하는 경우 증강 현실 제공 장치(600) 자체가 움직인 것으로 판단한다.

다음으로, 제어 신호 생성 모듈(643)은 피사체 모션 검출 모듈(642)로부터 입력되는 검출 값(이하, “제 1 검출 값”이라고 함)과 장치 움직임 검출 모듈(644)로부터 입력되는 검출 값(이하, “제 2 검출 값”이라고 함)을 구분하여 제어 신호를 생성한다.

구체적으로, 제어 신호 생성 모듈(643)은 제 1 검출 값 및 제 2 검출 값이 동시에 또는 기설정된 시간 범위 내에 둘 다 입력될 경우 증강 현실 제공 장치(600) 자체의 움직임이 발생한 것으로 판단하고, 실사 영상에 기합성된 가상 영상을 유지하도록 하는 제어 신호를 생성하여 그래픽 제어부(630)로 전송한다.

반면, 제어 신호 생성 모듈(643)은 제 1 검출 값이 입력된 후 상기 기설정된 시간 범위 내에 제 2 검출 값이 입력되지 않으면 피사체의 모션이 발생한 것으로 판단하고, 실사 영상에 기합성된 가상 영상을 다른 가상 영상으로 변경하도록 하는 제어 신호를 생성하여 그래픽 제어부(630)로 전송한다.

이하, 도 9를 참조하여 본 발명의 다른 실시예에 따른 증강 현실 제공 방법에 대해서 상세히 설명하도록 한다.

도 9는 본 발명의 다른 실시예에 따른 증강 현실 제공 방법을 설명하기 위한 순서도이다.

도 9에서와 같이, 본 발명의 다른 실시예에 따른 증강 현실 제공 방법에서는 먼저, 제 1 가상 이미지를 포함하는 증강 현실 화면을 출력한다(S910).

상기 제 1 가상 이미지는 기저장되어 있던 가상 이미지로서, 증강 현실 애플리케이션 실행 시 기본적으로 제공되는 기준 가상 이미지일 수 있다. 또한, 상기 제 1 가상 이미지를 현재 촬영된 실사 영상에 합성하여 증강 현실 화면이 생성된다. 참고로, 상기 제 1 가상 이미지는 기저장된 가상 이미지 파일을 듀얼 복원 방식으로 복원 처리한 원본 가상 이미지 데이터이다.

다음으로, 실사 영상에 대해서 증강 현실 제공 장치 자체의 움직임 또는 피사체의 모션 중 적어도 하나를 검출한다(S920).

이때, 상기 피사체의 모션은 상기 실사 영상에서 프레임 단위로 픽셀 간 휘도, 제 1 색차 및 제 2 색차 중 적어도 하나를 기준으로 비교하여 검출할 수 있다. 또한, 상기 증강 현실 제공 장치 자체의 움직임은 상기 실사 영상의 프레임 단위로 각 픽셀의 휘도를 기준으로 비교하여 검출할 수 있다.

다음으로, 상기 피사체의 모션이 검출되는 경우, 상기 제 1 가상 이미지와 상이한 제 2 가상 이미지를 포함하는 증강 현실 화면을 출력한다(S930).

이때, 상기 단계(S920)에서 상기 장치 자체의 움직임이 검출되는 경우 기출력된 증강 현실 화면의 가상 이미지 파일(즉, 제 1 가상 이미지)은 유지되고, 상기 피사체의 모션이 검출되는 경우 새로운 가상 이미지 파일(즉, 제 2 가상 이미지)이 합성된 증강 현실 화면이 출력된다.

이때, 본 발명의 다른 실시예에 따른 증강 현실 제공 방법은 상기 단계(S910)을 수행하기 이전에 듀얼 압축 방식으로 압축 처리된 복수의 가상 이미지 파일들이 저장되는 단계를 포함한다. 이때, 상기 복수의 가상 이미지 파일들은 상기 기준 이미지 파일에 상응하여 적어도 하나의 다른 가상 이미지 파일들이 저장되며, 참고로, 상기 복수의 다른 가상 이미지 파일들은 상기 피사체의 움직임 방향에 상응하도록 매칭되어 기저장될 수 있다.

따라서, 상기 단계(S930)에서는, 상기 피사체의 모션이 검출된 경우 피사체의 모션이 검출된 위치에 따라 상기 복수의 가상 영상 파일 중 상기 검출된 위치에 대응하는 가상 이미지 파일을 선택하는 단계를 포함할 수 있다.

이때, 도 9에서는 본 발명의 다른 실시예에 따른 증강 현실 제공 방법에서 실사 영상에 가상 이미지를 합성하여 증강 현실 화면을 제공하는 방법을 나타내었으나, 실사 영상에 가상 이미지 또는 가상 동영상 등을 포함하는 가상 영상을 합성하는 증강 현실 화면을 제공할 수 있다.

한편, 본 발명의 실시예에서는 듀얼 압축 또는 복원 방식으로 가상 영상을 처리하고, 피사체의 모션을 인식하여 증강 현실을 제공하는 증강 현실 제공 장치를 설명하였다. 이러한, 증강 현실 제공 장치는 휴대용 단말 장치(미도시)의 내부에 일 구성으로 포함되는 것이 가능하다.

이러한, 휴대용 단말 장치(미도시)는 상기 도 1 내지 도 9에서 설명한 본 발명의 실시예에 따른 증강 현실 제공 장치(100, 600)의 각 구성과 더불어 무선 통신을 위한 통신부(미도시), 중앙 제어부(미도시), 전원부(미도시) 등의 구성을 더 포함할 수 있다.

즉, 증강 현실 제공 장치(100, 600)를 포함하는 휴대용 단말 장치(미도시)는 PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access) 또는 Wibro(Wireless Broadband Internet) 방식의 통신 기능을 수행할 수 있다.

또한, 휴대 단말 장치(미도시)의 일 구성으로 포함되는 증강 현실 제공 장치(600)에서 모션 인식부(640)의 장치 움직임 검출 모듈(644)은 휴대 단말 장치의 움직임을 검출할 수 있다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

110, 610: 저장부 120, 620: 가상 영상 처리부
130, 630: 그래픽 제어부 140, 650: 카메라부
150, 660: 디스플레이부 640: 모션 인식부

Claims (16)

1. 증강 현실 제공 장치에 있어서,
   손실 압축된 컬러 정보 데이터 및 무손실 압축된 투명도 정보 데이터를 포함하는 가상 영상 파일을 원본 가상 영상 데이터로 복원하는 가상 영상 처리부;
   상기 복원된 원본 가상 영상 데이터를 실사 영상에 합성하여 증강 현실 화면을 생성하는 그래픽 제어부;
   상기 생성된 증강 현실 화면을 출력하는 디스플레이부; 및
   상기 실사 영상을 프레임 단위로 비교하여 실사 영상에 포함되는 피사체의 모션을 검출하는 모션 인식부를 포함하는 증강 현실 제공 장치.
   
2. 삭제
3. 제 1 항에 있어서,
   상기 그래픽 제어부는,
   상기 피사체의 모션이 검출되면, 기출력된 제 1 증강 현실 화면에 포함된 제 1 원본 가상 영상 데이터와 상이한 제 2 원본 가상 영상 데이터를 상기 실사 영상에 합성하여 제 2 증강 현실 화면을 생성하는 증강 현실 제공 장치.
   
4. 제 3 항에 있어서,
   상기 모션 인식부는,
   상기 제 1 원본 가상 영상 데이터의 투명도 정보 값에 기초하여 설정되는 관심 영역 내에서 상기 피사체의 모션을 검출하는 증강 현실 제공 장치.
   
5. 제 1 항에 있어서,
   상기 모션 인식부는,
   상기 실사 영상을 휘도 및 색차 중 적어도 하나를 기준으로 프레임 단위로 비교하여 상기 피사체의 모션을 검출하는 증강 현실 제공 장치.
   
6. 제 3 항에 있어서,
   상기 모션 인식부는,
   휘도를 기준으로 상기 실사 영상을 프레임 단위로 비교하여 상기 증강 현실 제공 장치 자체의 움직임을 더 검출하는 증강 현실 제공 장치.
   
7. 제 6 항에 있어서,
   상기 그래픽 제어부는,
   상기 증강 현실 제공 장치 자체의 움직임 검출 시 상기 제 1 원본 가상 영상 데이터의 출력을 유지하고, 상기 피사체의 모션 검출 시 상기 제 2 원본 가상 영상 데이터를 상기 실사 영상에 합성하여 상기 증강 현실 화면을 생성하는 증강 현실 제공 장치.
   
8. 제 1 항에 있어서,
   상기 모션 인식부는,
   상기 피사체의 모션이 검출되면, 서로 매칭되어 기저장된 다수의 가상 영상 파일 중 상기 피사체 모션이 발생된 위치에 따라 기설정된 가상 영상 파일이 선택되도록 하는 제어 신호를 생성하는 증강 현실 제공 장치.
   
9. 제 8 항에 있어서,
   상기 그래픽 제어부는,
   서로 매칭되어 기저장된 다수의 가상 영상 파일 중 상기 피사체 모션이 발생된 위치에 따라 선택된 가상 영상 파일을 상기 복원 처리하도록 제어하는 증강 현실 제공 장치.
   
10. 증강 현실 제공 방법에 있어서,
    손실 압축된 컬러 정보 데이터와 무손실 압축된 투명도 정보 데이터를 포함하는 제 1 가상 영상 파일을 제 1 원본 가상 영상 데이터로 복원 처리하는 단계;
    상기 제 1 원본 가상 영상 데이터를 실사 영상에 합성하여 제 1 증강 현실 화면을 생성하는 단계;
    상기 생성된 제 1 증강 현실 화면을 출력하는 단계;
    상기 실사 영상을 프레임 단위로 비교하여 실사 영상에 포함되는 피사체의 모션을 검출하는 단계;
    상기 피사체의 모션이 검출되지 않으면 상기 제 1 증강 현실 화면을 유지하는 단계; 및
    상기 피사체의 모션이 검출되면 상기 제 1 가상 영상 파일과 상이한 제 2 가상 영상 파일을 제 2 원본 가상 영상 데이터로 복원 처리한 후 상기 실사 영상에 합성하여 제 2 증강 현실 화면을 생성하여 출력하는 단계를 포함하는 증강 현실 제공 방법.
    
11. 삭제
12. 제 10 항에 있어서,
    상기 피사체의 모션을 검출하는 단계는,
    상기 제 1 원본 가상 영상 데이터의 투명도 정보 값에 기초하여 관심 영역을 설정하는 단계; 및
    상기 관심 영역 내에서 상기 피사체의 모션을 검출하는 단계를 포함하는 증강 현실 제공 방법.
    
13. 제 10 항에 있어서,
    상기 피사체의 모션을 검출하는 단계는,
    휘도 및 색차 중 적어도 하나를 기준으로 상기 실사 영상을 프레임 단위로 비교하여 상기 피사체의 모션을 검출하는 증강 현실 제공 방법.
    
14. 제 10 항에 있어서,
    상기 제 1 증강 현실 화면을 출력하는 단계의 수행 이후 상기 피사체의 모션을 검출하는 단계의 수행 전에,
    휘도를 기준으로 상기 실사 영상을 프레임 단위로 비교하여 증강 현실 제공 장치 자체의 움직임을 검출하는 단계를 더 포함하는 증강 현실 제공 방법.
    
15. 제 14 항에 있어서,
    상기 제 2 증강 현실 화면을 생성하여 출력하는 단계는,
    상기 증강 현실 제공 장치 자체의 움직임 및 상기 피사체의 모션 중 적어도 하나를 검출하는 단계; 및
    상기 피사체의 모션이 검출되면 상기 제 2 증강 현실 화면을 생성하는 증강 현실 제공 방법.
    
16. 제 10 항에 있어서,
    상기 제 2 증강 현실 화면을 생성하여 출력하는 단계는,
    상기 피사체의 모션이 발생된 위치 정보에 따라 기설정된 상기 제 2 가상 영상 파일을 선택하여 상기 복원 처리하는 증강 현실 제공 방법.

Images