KR20180089764A - 전시 체험형 동작 인식 서비스 제공 시스템 및 제공 방법 - Google Patents

Abstract

본 발명은 사람의 동작을 인식하고 이에 따라 재생되고 있는 영상을 변화시키거나 새로운 영상을 생성하도록 구현한 전시 체험형 동작 인식 서비스 제공 시스템 및 제공 방법에 관한 것으로, 제1항에 있어서, 상기 3D촬영장치는, 3D카메라를 통해 대상체의 좌측을 촬영하여 제1영상정보를 생성시켜 주기 위한 제1촬영부; 3D카메라를 통해 대상체의 우측을 촬영하여 제2영상정보를 생성시켜 주기 위한 제2촬영부; 및 상기 제1촬영부 및 상기 제2촬영부로부터 제1영상정보 및 제2영상정보를 전달받아 합성하여 3D영상정보를 생성시킨 후 상기 동작인식장치로 전달하기 위한 3D영상생성부를 포함한다.

Description

전시 체험형 동작 인식 서비스 제공 시스템 및 제공 방법{Exhibition and Experience typed Motion Recognition Service Offering System and Method thereof}

본 발명은 전시 체험환경에서 전시 체험형 동작 인식 서비스 제공 시스템 및 제공 방법에 관한 것으로, 특히 사람의 동작을 인식하고 이에 따라 재생되고 있는 영상을 변화시키거나 새로운 콘텐츠와 인터랙션을 하도록 구현한 전시 체험형 동작 인식 서비스 제공 시스템 및 제공 방법에 관한 것이다.

최근에 들어, 스마트 TV, 스마트 휴대폰 등 콘텐츠를 제공하기 위한 기기의 유형이 다양화되어 있고, 이들을 통해 제공되는 콘텐츠의 유형도 영화, 음악, 게임에서 교육, 의료, 홈쇼핑 등으로 다양화되고 있는 추세이다.

콘텐츠를 제어하기 위한 종래의 인터페이스 방법으로는 콘텐츠를 제공하는 기기와 유/무선으로 연결된 마우스, 키보드, 리모컨 등 도구를 사용하는 방식을 생각해볼 수 있는데 이러한 방법들에 따르면, 사용자가 도구를 사용해 콘텐츠를 일일이 특정하고 제어해야 한다는 불편함이 있었다. 또한, 상기와 같은 도구 사용의 미스가 빈번하게 일어날 수 있는바 콘텐츠를 원하는 대로 제어하기가 쉽지 않을 수도 있고, 상기와 같은 도구를 별도로 유지 및 관리해야 한다는 문제점 이 있었다. 뿐만 아니라 3D 게임과 같이 사실감이 강조되는 콘텐츠의 경우 상기와 같은 도구를 사용하여 콘텐츠를 제어하고자 하는 경우 사용자가 콘텐츠를 사실감 있게 느끼지 못하는 중요한 원인이 되기도 하였다.

한국등록특허 제10-1517892호(2015.04.29.)는 사용자의 동작을 인식하고, 인식된 정보를 기반으로 증강현실 가상 객체의 생성 및 관리할 수 있는 동작인식을 이용한 가상 객체 정합 방법을 제공하기 위한 동작인식 체감형 증강현실 아이템 생성 및 처리방법에 관하여 기재되어 있는데, 동작인식을 이용한 가상 객체 정합 방법에 있어서, 사용자를 인식하는 단계; 상기 인식한 사용자가 등록된 사용자인지 판단하는 단계; 상기 사용자의 동작을 인식하는 단계; 상기 인식한 동작에 해당하는 가상 객체를 생성하는 단계; 상기 생성된 가상 객체를 상기 사용자에 정합시키는 단계; 및 상기 사용자의 움직임에 따라 증강현실을 통해 상기 가상 객체를 동작시키는 단계를 포함하고, 상기 인식한 사용자가 등록된 사용자인지 판단하는 단계의 판단 결과, 상기 사용자가 등록된 사용자가 아닌 경우, 상기 사용자를 인증하는 단계; 상기 인증된 사용자에 대한 사용자 정보를 저장하는 단계; 상기 사용자가 가상 공간상에서 콘텐츠를 수행하는데 필요한 가상 객체를 설정하여 저장하는 단계; 및 상기 사용자에게 상기 저장된 가상 객체를 생성시키기 위한 동작을 수행하도록 하고, 상기 사용자가 상기 가상 객체를 생성시키기 위한 동작을 수행하는 동안, 상기 사용자의 동작 정보를 저장하는 단계를 포함하고, 상기 콘텐츠는 증강현실을 통해 가상 객체를 동작시키는 콘텐츠인 것을 특징으로 한다. 기재된 기술에 의하면, 사용자의 동작을 인식하고, 인식된 정보를 기반으로 증강현실 가상 객체의 생성 및 관리할 수 있다. 또한, 게임콘텐츠 및 유아교육용 콘텐츠를 체감형으로 제작하여 사용자의 상호작용을 증진시킬 수 있다.

한국등록특허 제10-1607431호(2016.03.23.)는 움직임 데이터를 실시간 영상처리하여 지속적으로 새로운 콘텐츠를 생산함으로써 장기간 사용 가능한 콘텐츠, 즉 반복적이지 않고 새롭게 보이는 콘텐츠를 제공할 수 있는 동작인식을 이용한 실시간 영상처리 장치 및 방법에 관하여 기재되어 있다. 기재된 기술에 의하면, 카메라가 제공하는 움직임 데이터를 실시간 영상처리하여 지속적으로 새로운 콘텐츠를 생산하여 디스플레이를 통해 디스플레이하는 동작인식을 이용한 실시간 영상처리 장치에 있어서, 카메라를 통해 촬영되는 실시간 움직임 데이터 영상을 입력받는 영상입력부; 상기 입력된 영상 또는 디스플레이하고자 하는 영상을 저장하는 영상저장부; 상기 영상저장부에 저장된 영상 중 디스플레이하고자 하는 영상을 다양한 규격의 디스플레이에 적용시킬 수 있도록 다양한 해상도를 설정하는 해상도 설정부; 상기 해상도 설정부를 통해 해상도가 설정된 영상의 배경과 움직임을 분리하는 배경/움직임 분리부; 상기 배경과 움직임이 분리된 영상에 대하여 잔상간격, 길이 및 투명도 조절을 통해 움직임의 잔상효과를 통해 다양한 연출이 가능하도록 잔상을 합성하는 잔상합성부; 상기 잔상합성부에서 합성된 영상에 대하여 다양한 필터, 물리엔진 및 모션트래킹의 효과를 선택적으로 추가하여 영상에 대한 특수효과가 가능하도록 하는 특수효과부; 상기 특수효과부에서 특수효과가 추가된 영상을 디스플레이로 출력하는 영상출력부; 상기 해상도 설정부, 배경/움직임 분리부, 잔상합성부 및 특수효과부의 기능을 개별적 또한 통합적으로 선택하여 제어하는 GUI(Graphic User Interface)부; 및 상기 영상입력부, 영상저장부, 해상도 설정부, 배경/움직임 분리부, 잔상합성부, 특수효과부, 영상출력부 및 GUI부를 제어하며 상기 GUI부에서 설정된 값에 따라 상기 영상저장부에 저장된 영상 또는 상기 카메라를 통해 촬영되는 움직임 데이터를 실시간 영상처리하여 지속적으로 새로운 콘텐츠를 생산하여 디스플레이를 통해 디스플레이하도록 제어하는 제어부를 포함하여 구성됨을 특징으로 한다.

상술한 바와 같은 종래의 영상 변환 장치는, 복잡한 형태(자유롭게 배치된 형태)의 클러스터 또는 바 타입의 경관조명을 구성하기 위해서는 개개의 LED 램프의 위치값을 지정하고 해당 위치값의 영상을 수작업으로 배치를 해 준 영상의 형태만 표출을 하고 있어 사용자가 영상을 바꾸고자할 경우 많은 어려움이 발생하는 문제점을 가지고 있었다.

한국등록특허 제10-1517892호 한국등록특허 제10-1607431호

본 발명이 이루고자 하는 기술적 과제는, 전술한 바와 같은 문제점을 해결하기 위한 것으로, 사람의 동작을 인식하고 이에 따라 재생되고 있는 영상을 변화시키거나 새로운 영상을 생성하도록 구현한 전시 체험형 동작 인식 서비스 제공 시스템 및 제공 방법을 제공한다.

이러한 과제를 해결하기 위해서는, 본 발명의 한 특징에 따르면, 3D카메라를 통해 대상체를 촬영하여 촬영된 대상체에 대한 3D영상정보를 생성시켜 주기 위한 3D촬영장치; 상기 3D촬영장치에서 생성시킨 3D영상정보를 분석하여 대상체의 동작을 인식해서 동작인식정보를 전달해 주기 위한 동작인식장치; 및 상기 동작인식장치로부터 전달되는 동작인식정보에 따라 이에 대응하여 화면에 출력하고 있는 영상을 변환시켜 주기 위한 영상출력장치를 포함하는 전시 체험형 동작 인식 서비스 제공 시스템을 제공한다.

일 실시 예에서, 상기 3D촬영장치는, 두 대의 3D카메라를 통해 대상체를 촬영하여 촬영된 대상체에 대한 확장3D영상정보를 생성시켜 줄 수 있다.

일 실시 예에서, 상기 동작인식장치는, 상기 3D촬영장치에서 생성시킨 3D영상정보를 분석하기 위한 분석부; 및 상기 분석부에서 분석한 3D영상정보에서 대상체의 동작을 인식하여 동작인식정보를 생성시켜 주기 위한 동작인식부를 포함할 수 있다.

일 실시 예에서, 상기 분석부는, 3D영상정보에서 깊이값을 판독하기 위한 깊이값판독부재; 깊이값에서 객체들을 분리하기 위한 객체분리부재; 깊이값에서 위로부터 아래로 샘플링하면서 포인팅을 추출하기 위한 포인팅추출부재; 및 추출된 포인팅을 오메가 형상과 비교한 후 추출된 포인팅의 수치값이 높으면 사람으로 인식하기 위한 사림인식부재를 포함할 수 있다.

일 실시 예에서, 상기 동작인식부는, 3D영상정보에서 대상체의 동작을 인식하기 위한 동작인식부재; 대상체에서 사람영역의 움직임을 트레킹 하기 위한 트레킹부재; 및 사람영역 이외의 배경을 분리해 내기 위한 분리부재를 포함할 수 있다.

일 실시 예에서, 상기 트레킹부재는, 트레킹 할 대상이 사람일 경우에 이전 프레임을 기준으로 현재 프레임과의 깊이값을 비교하여 사람영역을 트레킹 할 수 있다.

일 실시 예에서, 상기 분리부재는, 오메가 형상을 검출하여 사람영역을 식별한 후 사람영역 이외의 배경을 분리해 낼 수 있다.

일 실시 예에서, 상기 영상출력장치는, 영상을 변환시키기 위한 영상변환정보를 대상체의 동작에 따라 설정하여 저장해 두기 위한 메모리부; 상기 동작인식장치로부터 동작인식정보를 전달받아 상기 메모리부에 저장해 둔 영상변환정보를 판독하여 출력하고 있는 영상을 영상변환정보에 따라 변환하여 변환영상정보를 생성시켜 주기 위한 제어부; 및 상기 제어부로부터 변환영상정보를 전달받아 출력해 주기 위한 출력부를 포함할 수 있다.

본 발명의 다른 한 특징에 따르면, 3D촬영장치가 3D카메라를 통해 대상체를 촬영하여 촬영된 대상체에 대한 3D영상정보를 생성시켜 주는 3D영상정보생성단계; 동작인식장치가 상기 3D촬영장치에서 생성시킨 3D영상정보를 분석하여 대상체의 동작을 인식해서 동작인식정보를 전달해 주는 3D영상정보분석단계: 및 영상출력장치가 상기 동작인식장치로부터 전달되는 동작인식정보에 따라 이에 대응하여 화면에 출력하고 있는 영상을 변환시켜 주는 영상변환단계를 포함하는 동작 인식 서비스 제공 방법을 제공한다.

일 실시 예에서, 상기 3D영상정보생성단계는, 대상체에 대한 3D영상정보에서 마커를 찾는 단계; 마커의 꼭지점을 찾아내는 단계; 꼭지점과 3D영상정보에 따라 이미지를 텍스쳐에 맞추어 펴주는 단계; 및 1채널 코드를 찾아 분석하여 그림의 종류를 알아내는 단계를 포함할 수 있다.

본 발명에 의하면, 사람의 동작을 인식하고 이에 따라 재생되고 있는 영상을 변화시키거나 콘텐츠와 인터랙션 하도록 구현한 전시 체험형 동작 인식 서비스 제공 시스템 및 제공 방법을 제공함으로써, 움직임 데이터를 실시간 영상처리 하여 지속적으로 새로운 콘텐츠를 생산하여 장기간 사용 가능한 콘텐츠, 즉 반복적이지 않고 새롭게 보이는 콘텐츠를 제공하는 효과를 가진다.

도 1은 본 발명의 실시 예에 따른 전시 체험형 동작 인식 서비스 제공 시스템을 설명하는 도면이다.
도 2는 도 1에 있는 3D촬영장치를 설명하는 도면이다.
도 3은 도 1에 있는 동작인식장치를 설명하는 도면이다.
도 4는 도 3에 있는 분석부를 설명하는 도면이다.
도 5는 도 3에 있는 동작인식부를 설명하는 도면이다.
도 6은 도 1에 있는 영상출력장치를 설명하는 도면이다.
도 7은 본 발명의 다른 실시 예에 따른 동작 인식 서비스 제공 방법을 설명하는 순서도이다.
도 8은 도 7에 있는 3D영상정보를 생성의 다른 예의 흐름도를 나타낸 것이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시 예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시 예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시 예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

이제 본 발명의 실시 예에 따른 전시 체험형 동작 인식 서비스 제공 시스템 및 제공 방법에 대하여 도면을 참고로 하여 상세하게 설명한다.

도 1은 본 발명의 실시 예에 따른 전시 체험형 동작 인식 서비스 제공 시스템을 설명하는 도면이다.

도 1을 참조하면, 전시 체험형 동작 인식 서비스 제공 시스템은, 3D촬영장치(100), 동작인식장치(200) 및 영상출력장치(300)를 포함한다.

3D촬영장치(100)는, 3D카메라를 통해 대상체를 촬영하며, 해당 촬영한 대상체에 대한 3D영상정보를 생성하며, 해당 생성한 3D영상정보(즉, 3차원 이미지 정보)를 동작인식장치(200)로 전달한다.

일 실시 예에서, 3D촬영장치(100)는, 3D카메라의 세팅정보, 촬영해상도정보, 카메라식별정보를 포함하는 3D영상정보를 생성할 수 있다.

일 실시 예에서, 3D촬영장치(100)는, 3D영상정보(즉, 이미지 데이터)에 따라 영상출력장치(300)에서 실시간 변환 출력을 위해 실시간 네트워크로 3D영상정보를 전달할 수 있다.

일 실시 예에서, 3D촬영장치(100)는, 두 대의 3D카메라를 통해 대상체를 촬영하여 촬영된 대상체에 대한 확장3D영상정보(즉, 상술한 기존의 3D영상정보보다 넓은 영역의 이미지 정보)를 생성시켜 줄 수 있다.

동작인식장치(200)는, 3D촬영장치(100)로부터 3D영상정보를 전달받으며, 해당 전달받은 3D영상정보를 분석하며, 해당 분석한 3D영상정보에서 대상체의 동작을 인식하며, 해당 인식한 대상체의 동작에 따라 동작인식정보를 생성하며, 해당 생성한 동작인식정보를 영상출력장치(300)로 전달한다.

영상출력장치(300)는, 동작인식장치(200)에서 동작인식정보를 전달받으며, 해당 전달받은 동작인식정보에 따라 이에 대응하여 화면에 출력하고 있는 영상을 변환시켜 준다.

상술한 바와 같은 구성을 가지는 전시 체험형 동작 인식 서비스 제공 시스템은, 3D 카메라 2대를 병렬 연결하여 관람자의 행동을 추적함으로써, 화면과 관람자가 인터랙션 하며 관람자의 행동에 반응하는 화면을 연출하도록 할 수 있다.

상술한 바와 같은 구성을 가지는 전시 체험형 동작 인식 서비스 제공 시스템은, 사람의 동작을 인식하고 이에 따라 재생되고 있는 영상을 변화시키거나 새로운 영상을 생성함으로써, 움직임 데이터를 실시간 영상처리 하여 지속적으로 새로운 콘텐츠를 생산하여 장기간 사용 가능한 콘텐츠, 즉 반복적이지 않고 새롭게 보이는 콘텐츠를 제공할 수 있다.

도 2는 도 1에 있는 3D촬영장치를 설명하는 도면이다.

도 2를 참조하면, 3D촬영장치(100)는, 제1촬영부(110), 제2촬영부(120) 및 3D영상생성부(130)를 포함한다.

제1촬영부(110)는, 3D카메라(예를 들어, Kinect 3DCamera, RealSens 3DCamera, ASUS Xtion 3DCamera 등)를 통해 대상체의 좌측을 촬영하여 제1영상정보를 생성하며, 해당 생성한 제1영상정보를 3D영상생성부(130)로 전달한다.

제2촬영부(120)는, 3D카메라를 통해 대상체의 우측을 촬영하여 제2영상정보를 생성하며, 해당 생성한 제2영상정보를 3D영상생성부(130)로 전달한다.

3D영상생성부(130)는, 제1촬영부(110) 및 제2촬영부(120)로부터 제1영상정보 및 제2영상정보를 전달받으며, 해당 전달받은 제1영상정보 및 제2영상정보를 합성하여 3D영상정보보다 넓은 영역을 감지한 확장3D영상정보를 생성하며, 해당 생성한 확장3D영상정보를 동작인식장치(200)로 전달한다.

상술한 바와 같이 두 대의 3D카메라(즉, 제1촬영부(110), 제2촬영부(120))를 포함하는 3D촬영장치(100)는, 두 대의 3D카메라를 통해 대상체를 촬영하여 촬영된 대상체에 대한 확장3D영상정보(즉, 상술한 기존의 3D영상정보보다 넓은 영역의 이미지 정보)를 생성시켜 줌으로써, 보다 넓은 영성의 대상체를 감지하도록 할 수 있다.

도 3은 도 1에 있는 동작인식장치를 설명하는 도면이다.

도 3을 참조하면, 동작인식장치(200)는, 분석부(210) 및 동작인식부(220)를 포함한다.

분석부(210)는, 3D촬영장치(100)로부터 3D영상정보를 전달받으며, 해당 전달받은 3D영상정보를 분석한다.

동작인식부(220)는, 분석부(210)에서 분석한 3D영상정보에서 대상체의 동작을 인식하며, 해당 인식한 대상체의 동작에 따라 동작인식정보를 생성하며, 해당 생성한 동작인식정보를 영상출력장치(300)로 전달한다.

도 4는 도 3에 있는 분석부를 설명하는 도면이다.

도 4를 참조하면, 분석부(210)는, 깊이값판독부재(211), 객체분리부재(212), 포인팅추출부재(213) 및 사림인식부재(214)를 포함한다.

깊이값판독부재(211)는, 3D촬영장치(100)로부터 3D영상정보를 전달받으며, 해당 전달받은 3D영상정보에서 깊이값을 판독한다.

객체분리부재(212)는, 깊이값판독부재(211)에서 판독한 깊이값에서 객체들을 분리한다.

포인팅추출부재(213)는, 깊이값판독부재(211)에서 판독한 깊이값에서 위로부터 아래로 샘플링하면서 포인팅을 추출한다.

사림인식부재(214)는, 포인팅추출부재(213)에서 추출된 포인팅을 오메가 형상과 비교한 후 추출된 포인팅의 수치값이 높으면 사람으로 인식한다.

일 실시 예에서, 사림인식부재(214)는, 사람으로 인식된 영역을 실루엣(단색표현)하여 데이터화 시키며, 해당 데이터화를 검출할 수 있다. 이때, 사림인식부재(214)는, 검출하는 과정에서 후술할 표 1과 같이 카메라 두 대의 감지 교차지점 처리 문제를 해결할 수 있다.

일 실시 예에서, 사림인식부재(214)는, 실루엣 데이터를 전송하기 위해 데이터 압축을 하여 전송간의 데이터 손실을 줄일 수 있으며, 데이터 전송을 빠르게 하기 위해 사전 압축작업 실시할 수 있다.

도 5는 도 3에 있는 동작인식부를 설명하는 도면이다.

도 5를 참조하면, 동작인식부(220)는, 동작인식부재(221), 트레킹부재(222) 및 분리부재(223)를 포함한다.

동작인식부재(221)는, 분석부(210)에서 분석한 3D영상정보에서 대상체의 동작을 인식한다.

트레킹부재(222)는, 대상체에서 사람영역의 움직임을 트레킹한다.

일 실시 예에서, 트레킹부재(222)는, 트레킹 할 대상이 사람일 경우에 이전 프레임을 기준으로 현재 프레임과의 깊이값을 비교하여 사람영역을 트레킹 할 수 있다.

분리부재(223)는, 사람영역 이외의 배경을 분리한다.

일 실시 예에서, 분리부재(223)는, 오메가 형상을 검출하여 사람영역을 식별한 후 사람영역 이외의 배경을 분리할 수 있다.

표 2는 3차원 카메라를 이용한 동작 인식 기술을 설명하는 순서도이다.

도 6은 도 1에 있는 영상출력장치를 설명하는 도면이다.

도 6을 참조하면, 영상출력장치(300)는, 메모리부(310), 제어부(320) 및 출력부(330)를 포함한다.

메모리부(310)는, 영상을 변환시키기 위한 영상변환정보를 대상체의 동작에 따라 설정하여 저장해 둔다.

제어부(320)는, 동작인식장치(200)로부터 동작인식정보를 전달받으며, 해당 전달받은 동작인식정보에 따라 메모리부(310)에 저장해 둔 영상변환정보를 판독하며, 해당 판독한 영상변환정보에 따라 출력하고 있는 영상을 변환하며, 해당 변환한 영상에 따라 변환영상정보를 생성하며, 해당 생성한 변환영상정보를 출력부(330)로 전달한다.

출력부(330)는, 제어부(320)로부터 변환영상정보를 전달받으며, 해당 전달받은 변환영상정보를 출력한다.

일 실시 예에서, 출력부(330)는, 영상을 출력하기 위한 수단(예를 들어, LED 또는 LCD모니터, 빔프로젝터 등)으로 형성됨이 바람직하다.

표 3은 변환영상정보에 따라 기존에 출력되고 있는 영상(표 1의 좌측)이 대상체(표 1의 어린이들)의 움직임에 따라 변환(화면의 물고기가 어린이들이 우측으로 움직임에 따라 함께 움직이도록 변환)되어 출력되고 있는 것을 나타낸다.

표 4는 변환영상정보에 따라 기존에 출력되고 있는 영상(표 1의 좌측)이 대상체의 움직임에 따라 변환(화면의 공룡 알이 깨어지고 알에서 공룡이 나오는 영상)되어 출력되고 있는 것을 나타낸다.

도 7은 본 발명의 다른 실시 예에 따른 동작 인식 서비스 제공 방법을 설명하는 순서도이다.

도 7을 참조하면, 3D촬영장치(100)가 3D카메라를 통해 대상체를 촬영하여 촬영된 대상체에 대한 3D영상정보를 생성시켜 준다(S710).

동작인식장치(200)가 3D촬영장치(100)에서 생성시킨 3D영상정보를 분석하여 대상체의 동작을 인식해서 동작인식정보를 전달해 준다(S720).

상술한 단계 S720에서, 우선 분석부(210)가 3D촬영장치(100)에서 생성시킨 3D영상정보를 분석하며, 동작인식부(220)가 분석부(210)에서 분석한 3D영상정보에서 대상체의 동작을 인식하여 동작인식정보를 생성할 수 있다.

일 실시 예에서, 분석부(210)는, 깊이값판독부재(211), 객체분리부재(212), 포인팅추출부재(213) 및 사림인식부재(214)를 포함할 수 있다.

깊이값판독부재(211)는, 3D촬영장치(100)로부터 3D영상정보를 전달받으며, 해당 전달받은 3D영상정보에서 깊이값을 판독한다.

객체분리부재(212)는, 깊이값판독부재(211)에서 판독한 깊이값에서 객체들을 분리한다.

포인팅추출부재(213)는, 깊이값판독부재(211)에서 판독한 깊이값에서 위로부터 아래로 샘플링하면서 포인팅을 추출한다.

사림인식부재(214)는, 포인팅추출부재(213)에서 추출된 포인팅을 오메가 형상과 비교한 후 추출된 포인팅의 수치값이 높으면 사람으로 인식한다.

일 실시 예에서, 사림인식부재(214)는, 사람으로 인식된 영역을 실루엣(단색표현)하여 데이터화 시키며, 해당 데이터화를 검출할 수 있다. 이때, 사림인식부재(214)는, 검출하는 과정에서 후술할 표 1과 같이 카메라 두 대의 감지 교차지점 처리 문제를 해결할 수 있다.

일 실시 예에서, 동작인식부(220)는, 동작인식부재(221), 트레킹부재(222) 및 분리부재(223)를 포함할 수 있다.

동작인식부재(221)는, 분석부(210)에서 분석한 3D영상정보에서 대상체의 동작을 인식한다.

트레킹부재(222)는, 대상체에서 사람영역의 움직임을 트레킹한다.

일 실시 예에서, 트레킹부재(222)는, 트레킹 할 대상이 사람일 경우에 이전 프레임을 기준으로 현재 프레임과의 깊이값을 비교하여 사람영역을 트레킹 할 수 있다.

분리부재(223)는, 사람영역 이외의 배경을 분리한다.

일 실시 예에서, 분리부재(223)는, 오메가 형상을 검출하여 사람영역을 식별한 후 사람영역 이외의 배경을 분리할 수 있다.

영상출력장치(300)가 동작인식장치(200)로부터 전달되는 동작인식정보에 따라 이에 대응하여 화면에 출력하고 있는 영상을 변환시켜 준다(S730).

일 실시 예에서, 영상출력장치(300)는, 메모리부(310), 제어부(320) 및 출력부(330)를 포함할 수 있다.

메모리부(310)는, 영상을 변환시키기 위한 영상변환정보를 대상체의 동작에 따라 설정하여 저장해 둔다.

제어부(320)는, 동작인식장치(200)로부터 동작인식정보를 전달받으며, 해당 전달받은 동작인식정보에 따라 메모리부(310)에 저장해 둔 영상변환정보를 판독하며, 해당 판독한 영상변환정보에 따라 출력하고 있는 영상을 변환하며, 해당 변환한 영상에 따라 변환영상정보를 생성하며, 해당 생성한 변환영상정보를 출력부(330)로 전달한다.

출력부(330)는, 제어부(320)로부터 변환영상정보를 전달받으며, 해당 전달받은 변환영상정보를 출력한다.

도 8은 도 7에 있는 3D영상정보를 생성의 다른 예의 흐름도를 나타낸 것이다.

도 8을 참조하면, 1) 먼저, VufroiaSDK에서 카메라 화상에 이미 등록된 이미지로 생성된 메타데이터를 이용하여 대상체에 대한 3D영상정보에서 마커를 찾으며, 2) 찾은 꼭짓점과 카메라화상을 이용하여 이미지를 텍스쳐에 맞추어 펴주며, 3) 변형된 이미지에서 1채널 코드를 분석하여 그림의 종류를 알아내며, 4) 발견된 1채널 코드가 이전 1채널 코드와 다르다면 오브젝트를 변경하며, 5) 마커위에 오브젝트를 띄우며, 6) 마커를 인식하지 않은 경우 이전에 모델을 카메라를 탑뷰로 고정해서 보여주며, 7) 닫기 버튼을 탭하면 오브젝트를 감추게 된다.

전시 체험형 동작 인식 서비스 제공 시스템은, 3D촬영장치(100), 동작인식장치(200) 및 영상출력장치(300)를 포함한다.

3D촬영장치(100)는, 3D카메라를 통해 대상체를 촬영하며, 해당 촬영한 대상체에 대한 3D영상정보를 생성하며, 해당 생성한 3D영상정보(즉, 3차원 이미지 정보)를 동작인식장치(200)로 전달한다. 이때, 대상체는 후술할 1채널 코드 마커를 포함하는 이미지로 형성될 수 있다.

배경이미지로부터 추출하고자 하는 대상체를 분리하는 배경분리로는 QR코드를 이용한 방법과 1채널 코드를 이용한 방법이 이용되는, 본 발명에는 1채널 코드를 이용한 방법을 활용하기로 한다. 이는, QR 코드는 많은 양의 데이터를 가지고 있어 복잡하고 복잡한 만큼 이미지가 작아질수록 정보를 읽기가 힘들어진다. 그 덕에 이미지를 그리는 종이가 작아질수록 종이에 QR코드가 차지하는 영역이 커지게 되는데, 이러한 단점을 극복하기 위해 1채널 코드는 내부 데이터를 크게 만들어 데이터를 읽기 쉽게 만들도록 하였다. 읽을 수 있는 데이터의 양은 적으나 QR코드의 많은 데이터의 양이 오히려 단점으로 사용되는 부분에서 적절히 사용 가능하기 때문이다.

표 5는, 이미지변형 및 1채널 코드의 분석을 나타내는 흐름도이다.

표 6 내지 표 9는 1채널 코드를 포함하는 대상체의 이미지 인식 및 이의 분석과정을 설명하는 표이다.

표 6은 VufroiaSDK에서 1채널 코드를 포함하는 대상체 화상에 마커(표 7에서 빨간색 라인)를 찾는 것을 나타낸다.

표 7은 마커의 꼭짓점(①②③④)을 찾아내고, 카메라화상을 버퍼로 받아오는 것을 나타낸다.

표 8은 꼭짓점과 3D영상정보에 따라 이미지를 텍스쳐에 맞추어 펴주는 것을 나타낸다.

표 9는 1채널 Code를 찾아 분석하여 그림의 종류를 알아내는 것을 나타낸다.

표 10은 1채널 코드를 포함하는 대상체 화상의 일 예를 나타낸 것으로, 1채널 코드, 물고기 명칭, 물고기 라인, Vuforia인식을 위한 마커가 표시된 것을 알 수 있으며, 물고기 라인에 맞춰 색칠을 하며, 마커를 인식해 color-ART체험이 가능하며, 전용 APP을 실행시켜 용지를 비추면 물고기 라인 내부에 색칠된 것이 실시간 3D모델링되어 감상이 가능하도록 할 수 있는 것이다.

표 11은 1채널 코드를 포함하는 대상체 화상의 다른 예를 나타낸 것으로, 1채널 코드, 물고기 명칭, 물고기 예시가 있으며, 라인이 없는 대신 자유롭게 그리기 체험이 가능하며, 라인이 없기 때문에 스캔 및 촬영이 화면에 이미지가 2D로 올라가며, Color-ART체험은 불가능 하다.

이상, 본 발명의 실시 예는 상술한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

100: 3D촬영장치
110: 제1촬영부
120: 제2촬영부
130: 3D영상생성부
200: 동작인식장치
210: 분석부
211: 깊이값판독부재
212: 객체분리부재
213: 포인팅추출부재
214: 사림인식부재
220: 동작인식부
221: 동작인식부재
222: 트레킹부재
223: 분리부재
300: 영상출력장치
310: 메모리부
320: 제어부

Claims (5)

1. 3D카메라를 통해 대상체를 촬영하여 촬영된 대상체에 대한 3D영상정보를 생성시켜 주기 위한 3D촬영장치;
   상기 3D촬영장치에서 생성시킨 3D영상정보를 분석하여 대상체의 동작을 인식해서 동작인식정보를 전달해 주기 위한 동작인식장치; 및
   상기 동작인식장치로부터 전달되는 동작인식정보에 따라 이에 대응하여 화면에 출력하고 있는 영상을 변환시켜 주기 위한 영상출력장치를 포함하는 전시 체험형 동작 인식 서비스 제공 시스템.
   
2. 제1항에 있어서, 상기 3D촬영장치는,
   두 대의 3D카메라를 통해 대상체를 촬영하여 촬영된 대상체에 대한 확장3D영상정보를 생성시켜 주는 것을 특징으로 하는 전시 체험형 동작 인식 서비스 제공 시스템.
   
3. 제1항에 있어서, 상기 동작인식장치는,
   상기 3D촬영장치에서 생성시킨 3D영상정보를 분석하기 위한 분석부; 및
   상기 분석부에서 분석한 3D영상정보에서 대상체의 동작을 인식하여 동작인식정보를 생성시켜 주기 위한 동작인식부를 포함하는 것을 특징으로 하는 전시 체험형 동작 인식 서비스 제공 시스템.
   
4. 제3항에 있어서, 상기 분석부는,
   3D영상정보에서 깊이값을 판독하기 위한 깊이값판독부재;
   깊이값에서 객체들을 분리하기 위한 객체분리부재;
   깊이값에서 위로부터 아래로 샘플링하면서 포인팅을 추출하기 위한 포인팅추출부재; 및
   추출된 포인팅을 오메가 형상과 비교한 후 추출된 포인팅의 수치값이 높으면 사람으로 인식하기 위한 사림인식부재를 포함하는 것을 특징으로 하는 전시 체험형 동작 인식 서비스 제공 시스템.
   
5. 3D촬영장치가 3D카메라를 통해 대상체를 촬영하여 촬영된 대상체에 대한 3D영상정보를 생성시켜 주는 3D영상정보생성단계;
   동작인식장치가 상기 3D촬영장치에서 생성시킨 3D영상정보를 분석하여 대상체의 동작을 인식해서 동작인식정보를 전달해 주는 3D영상정보분석단계: 및
   영상출력장치가 상기 동작인식장치로부터 전달되는 동작인식정보에 따라 이에 대응하여 화면에 출력하고 있는 영상을 변환시켜 주는 영상변환단계를 포함하는 전시 체험형 동작 인식 서비스 제공 방법.

Images