KR101050107B1 - 영상 제어 장치 - Google Patents

Abstract

본 발명은 피측정자의 움직임에 따라서 캐릭터가 움직이도록 함으로써 캐릭터의 이동 및 동작을 제어하도록 하고, UCC 등의 동영상의 특정 인물을 피측정자의 얼굴로 대체하도록 하여 특정 인물의 영상이 피측정자의 움직임을 따르도록 하기 위한 것이다.

얼굴 인식, 얼굴 위치 검출, 3D 캐릭터, 캐릭터 제어

Description

영상 제어 장치{charactor controll apparatus}

본 발명은 노래방 기기 또는 게임기 등 화상을 제공하는 전자기기에서 화면에 표시되는 캐릭터 및 특정 등장인물의 영상을 제어하는 제어장치에 관한 것이다.

최근에는 설정된 게임 환경에 맞춰 사용자가 직접 움직여 디스플레이상에서 3D 캐릭터를 제어하거나 컨트롤하여 게임이 실행되는 3D 게임 장치가 많은 인기를 모으고 있다.

도 1은 국내 등록특허 제 10-0713058호(발명의 명칭: 게임 장치, 이것에 사용하는 입력 수단 및 기억 매체)에 개시된 게임 장치의 광 검출방식의 개요를 나타내는 구성도이다.

도 1의 게임장치는 조작 매트(51)의 각 부에 수광부(53), (55)가 설치되고, 발광부가 설치된 조작 수단(57)으로부터 발하는 광을 좌우 2개의 수광부(53), (55)에서 수광하여 조작 수단(57)의 공간적 위치를 검출한다. 즉, 사용자(59)는 이 광원이 수광수단(53), (55)의 범위 내에서 발광 수단이 장착된 조작 수단(57)을 자연스럽게 움직임으로써 발광수단의 공간적 위치를 검출하여 사용자(59)의 위치 이동에 대응한 디스플레이(61)상의 캐릭터를 컨트롤하고 제어한다.

이와 같이 다양한 방법으로 사용자가 직접 참여하여 캐릭터를 제어하고, 사용자의 움직이는 공간적 위치 이동만큼 캐릭터가 제어됨으로 사용자는 직접 참여하는 듯한 실감을 느끼게 되어 흥미가 유발되고, 복수개의 조작 수단을 사용하는 혼란 없이 사용자의 자연스러운 동작에 의해게임을 조작할 수 있다.

그러나 이와 같은 게임 장치는 사용자가 수광수단이나 음파수신수단을 신체에 장착하거나, 물체에 장착하여 사용하여 3D 캐릭터의 움직임을 제어함으로써 사용이 번거롭고, 설치 공정에 전문성이 필요하여 설치 시 전문가를 통해야만 설치되는 문제점이 발생된다.

또한, 입력수단과 발신수단이 장착되어야 함으로 설치비용이 비싼 문제점이 발생된다.

본 발명은 이러한 문제점을 해결하기 위한 것으로, 본 발명의 해결과는 피측정자의 움직임에 따라서 캐릭터가 움직이도록 함으로써 캐릭터의 이동 및 동작을 제어하도록 하고, UCC 등의 동영상의 특정 인물을 피측정자의 얼굴로 대체하도록 함으로써 다양한 흥미를 유발할 수 있도록 하기 위한 것이다.

상기 과제를 해결하기 위한 해결수단은 캐릭터나 특정 인물을 포함하는 인물 영상에서 얼굴영상을 피측정자의 얼굴영상으로 대체 합성하여 표출하는 영상제어장치에 있어서: 상기 피측정자의 얼굴 위치에 따라서 상기 캐릭터나 특정 인물의 움직임이 각각 지정되어 저장되는 저장수단; 피측정자의 얼굴의 촬영하는 촬영수단; 상기 촬영수단에 의하여 촬영된 상기 피측정자의 얼굴 영상을 획득하는 획득수단; 상기 획득수단에 의하여 획득되는 피측정자의 얼굴 영상을 상기 캐릭터나 특정 인물의 얼굴과 대체하여 합성하는 합성수단; 상기 합성수단에 의하여 합성된 캐릭터나 특정 인물의 영상을 표시수단에 표시하는 제어수단을 포함하고, 상기 영상 제어장치는 3D 합성부를 더 포함하고, 상기 3D 합성부는 상기 획득수단에 의하여 획득되는 2D의 상기 피측정자의 얼굴 영상을 3D 얼굴영상으로 변환하고, 상기 합성수단은 상기 3D 얼굴영상을 상기 캐릭터나 특정 인물의 얼굴영상과 대체하여 합성하는 것이다.

또한 본 발명에서 상기 영상 제어장치는 상기 촬영수단에 의하여 촬영된 영상에서 상기 피측정자의 얼굴 위치를 감지하는 감지수단을 더 포함하고, 상기 제어수단은 상기 감지수단에 의하여 감지되는 얼굴위치에 따라서 상기 저장수단으로부터 매칭되는 상기 캐릭터나 특정 인물의 움직임을 표출하도록 하는 것이 바람직하다.

삭제

상기 과제와 해결수단을 갖는 본 발명에 따르면, 특별한 입력 인터페이스의 사용 없이 카메라를 통한 사용자의 얼굴영역의 이동된 위치 데이터 측정값을 통하여 3D 캐릭터의 움직임을 제어할 수 있다.

또한 UCC 등의 동영상에 피측정자의 얼굴을 합성시키고, 합성된 특정 인물을 피측정자의 얼굴이동에 따라서 움직일 수 있도록 한다.

이하, 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다.

도 2는 본 발명의 일실시예를 나타내는 전체적인 구성도이고, 도 3은 본 발명의 일실시예의 회로 블록도이고, 도 4는 본 발명의 일실시예가 동작되는 과정을 설명하는 순서도이다.

도 2의 노래방 및 댄스 시스템(1)은 노래방 서버와 연결되는 컴퓨터(3)와, 사용자(5)의 영상이 인식되는 카메라(7)와, 음원을 출력하기 위한 스피커(9)와, 사용자(5)의 음성이 입력되는 마이크(6)와 인식된 영상이 출력되는 디스플레이(8)로 구성된다. 또한 본 발명의 일실시예는 컴퓨터(3)에 포함되는 각각의 모듈들로 설명된다.

도 3의 본 발명의 일실시예는 제어모듈(13)과 저장모듈(15)을 포함한 제어 부(11)와, 카메라(7)로부터 영상을 수집하여 피측정자(5)의 얼굴의 위치와 정보를 검출하는 카메라부(17)와, 검출된 얼굴영상이 3D 캐릭터와 배경화면으로 합성되고, 얼굴영역의 위치 이동에 따라 3D 캐릭터를 제어하는 3D부(25)와, 합성된 영상이 렌더링되고, 렌더링된 영상이 CD로 저장되는 렌더링부(35)로 구성된다.

제어부(11)는 저장모듈(13)과 제어모듈(15)을 포함하고, 카메라(7)로부터 영상을 수집하여 얼굴 영역의 정보를 검출하는 카메라부(17)와, 3D 캐릭터와 배경화면이 얼굴영역 영상과 합성되는 3D부(25)와, 합성된 영상이 렌더링되는 렌더링부(35)와 연결되며 이들 제어대상은 제어모듈(15)에 의하여 제어된다.

저장모듈(15)은 카메라부(17)로부터 검출되는 피측정자(5)의 얼굴영역과 합성되는 다양한 형상의 캐릭터와 배경화면, 음악이 저장된다. 또한, 저장모듈(15)은 각각의 피측정자(5)의 얼굴위치에 따라 캐릭터의 동작이 매칭되도록 저장된다.

제어모듈(13)은 제어부(11)의 OS(Operating system)이며, 각각의 구성 요소들을 제어한다.

또한, 제어모듈(13)은 데이터 입력부(43)로부터 명령신호가 입력되면 저장모듈(15)에 기저장된 캐릭터와 배경화면, 음악들은 입력된 명령 신호에 따라 선택되도록 이들을 제어하고, 저장선택모듈(39)에 저장 명령신호가 입력되면 최종 3D 영상이 CD에 저장되도록 하고, 거부 명령신호가 입력되면 영상입력모듈(19)로 돌아가 동작이 다시 진행되도록 제어한다.

카메라부(17)는 카메라(7)로부터 수집된 영상 데이터를 입력받는 영상입력모듈(19)과, 입력된 영상 데이터에서 얼굴 구성 요소를 검출하는 얼굴인식모듈(21) 과, 얼굴영역의 이동을 추적하여 얼굴의 위치 데이터 측정값을 검출하는 위치검출모듈(23)로 구성되고, 각 구성요소는 빠른 실시간 영상 처리를 위하여 전처리 작업된다.

또한, 영상입력모듈(19)은 카메라로부터 수집된 2D 영상 데이터를 실시간으로 입력받는다.

얼굴인식모듈(21)은 CBCH 알고리즘을 이용하여 영상입력모듈(19)로부터 전송받은 영상 데이터 중 피팅 정확도가 높은 얼굴 특징점(눈,코,입 등의 얼굴의 특징 위치정보)을 추출하여 얼굴영역을 검출한다.

위치검출모듈(23)은 얼굴인식모듈(21)로부터 검출된 얼굴영역의 Hue값의 분포를 이용하여 변화될 위치를 예측하고, 탐지하여 얼굴영역을 추적하는 Camshift를 수행하고, 검출된 얼굴영역의 HSV Color변환을 통하여 HSVhistogram을 추출하고, 추출된 HSVhistogram의 색상 확률분포를 구하여 얼굴영역을 추적하여 얼굴영역의 이동된 위치 데이터의 측정값과 얼굴영역의 기울어짐과 같은 정보 데이터의 측정값을 검출하고, 검출된 얼굴 위치 정보 데이터의 측정값은 제어모듈(13)의 제어에 의해 3D부(25)의 캐릭터 제어모듈(31)로 전송된다.

3D부(25)는 3D 캐릭터와 배경화면이 생성되는 3D 생성모듈(27)과, 생성된 3D 캐릭터와 얼굴영역 영상 데이터를 합성하는 캐릭터 합성모듈(29)과, 피측정자(5)의 움직임등으로 갱신된 얼굴영역의 위치 데이터와 정보 데이터의 측정값을 입력받고, 저장모듈에 저장된 데이터베이스 중 입력된 측정값에 대응하는 위치와 동작을 갖는 새로운 3D 캐릭터가 이동된 얼굴영역과 재합성되는 캐릭터 제어모듈(31)과, 캐릭터 제어모듈(31)에 의하여 합성된 3D 캐릭터와 3D 생성모듈(27)로부터 생성된 배경화면이 합성되는 배경 합성모듈(33)로 이루어진다.

또한, 3D 생성모듈(27)은 데이터 입력부(43)로 사용자가 입력한 명령신호에 따라 저장모듈(15)에 기저장된 캐릭터와 배경화면이 선택되어 생성되도록 하고, 이때 저장모듈(15)로부터 선택되는 3D 캐릭터는 모션 캡쳐를 이용하여 동작이 자연스럽게 구현되도록 처리되어 있는 상태이다.

또한, 캐릭터 합성모듈(29)은 얼굴인식모듈(21)로부터 검출된 얼굴영역의 영상 데이터와 3D 생성모듈(27)에서 생성된 3D 캐릭터의 얼굴 부분이 크로마키등의 수행을 통하여 정합된다.

또한, 캐릭터 제어모듈(31)은 위치검출모듈(23)로부터 피측정자(5)의 얼굴영역의 이동된 위치 측정값과 얼굴의 기울어짐등의 정보 데이트를 전송받아 저장모듈(15)에 저장된 캐릭터의 동작 DB로부터 측정값에 대응되는 값의 3D 캐릭터의 동작을 추출하여 얼굴영역의 위치와 3D 캐릭터의 동작을 인터렉션 시킨다. 즉, 특별한 입력 인터페이스의 사용 없이 얼굴의 위치 데이터의 측정값이 입력됨으로써 3D 캐릭터가 제어되는 것이 가능하게 된다.

렌더링부(35)는 배경 합성모듈(33)로부터 전송받은 영상을 영상의 형태, 위치 등의 정보에 따라 그림자, 색상, 농도등을 결정하여 입체감을 주는 렌더링을 하여 최종 3차원 영상을 만드는 렌더링 모듈(37)과, 사용자가 렌더링 모듈(37)로부터 전송받은 최종 3D 입체 영상을 CD로 제작할 것인지 아닌지에 대한 선택 명령신호를 입력받는 저장선택모듈(39)과, 저장선택모듈(39)에 저장명령 신호가 입력될 경우 최종 3D 캐릭터 영상이 영상 인덱스로 분류되어 CD로 저장되는 CD 저장모듈(41)로 이루어진다.

본 발명의 일실시예의 동작과정을 도 4를 통하여 상세히 설명하기로 한다.

모션 캡쳐를 이용하여 자연스러운 동작이 구현되는 캐릭터와 다양한 배경화면, 음악들을 저장모듈(15)에 저장한다(S1). 데이터 입력부(43)는 사용자가 선택하는 캐릭터와 배경화면과 음악에 대한 데이터를 입력받는다(S2). 3D 생성모듈(27)은 입력된 데이터에 따른 캐릭터와 배경화면을 생성한다(S3). 영상입력모듈(19)은 카메라(7)로부터 수집된 피측정자(5)의 2D 영상 데이터를 입력한다(S4). 얼굴인식모듈(21)은 입력된 2D 영상 데이터에서 얼굴영역을 검출한다(S5). 캐릭터 합성부(29)는 검출된 얼굴영역 영상을 생성된 3D 캐릭터의 얼굴영역과 정합한다(S6). 위치검출모듈(23)은 피측정자(5)의 얼굴영역의 위치를 추적하여 얼굴의 위치 및 기울어짐 정보에 대한 측정값을 산출한다(S7). 캐릭터 제어모듈(31)은 산출된 측정값에 따라 3D 캐릭터를 제어한다(S8). 배경 합성모듈(33)은 제어된 3D 캐릭터와 생성된 배경화면을 합성한다(S9). 렌더링 모듈(37)은 합성된 영상을 렌더링하여 최종 3차원 영상으로 만든다(S10). 저장 선택모듈(39)은 최종 3차원 영상을 저장할 것인지에 대한 명령 데이터를 입력받는다(S11). CD 저장모듈(41)은 최종 3차원 영상을 CD에 저장한다(S12).

한편, 위의 단계(S11)에서 저장선택모듈(39)은 거부 명령신호를 입력받으면 단계 4(S4)로 진행하여 단계 4(S4) 이후의 모든 과정을 수행한다.

이와 같이, 얼굴영역을 검출한 후 피측정자(5)가 움직이거나 춤을 추는 등의 이동으로 인해 얼굴영역이 이동될 경우에도, 이동된 위치 데이터의 측정값을 통해 다양한 3D 캐릭터의 동작과 위치의 컨트롤이 가능하여 3D 캐릭터의 애니메이션이 가능하게 함으로써 특별한 인터페이스 없이 카메라를 통한 피측정자의 얼굴위치 검출을 통하여 3D 캐릭터의 제어가 가능하게 된다.

상기 실시예에서는 노래방 시스템을 예시하였으나, 얼굴 움직임을 통한 제어 기술을 필요로 하는 의료 및 전자 제품에도 적용할 수 있다.

도 5는 본 발명의 다른 실시예를 설명하는 블록도이다.

도 5의 실시예에서 일실시예와 동일한 구성에 대해서는 동일한 부호를 부여하고 상세한 설명을 생략하기로 한다.

도 5에서, 저장모듈(15)에는 일실시예에서 저장되는 데이터외에도 UCC 등의 동영상과, 동영상에서 특정 등장인물의 위치 및 특정 등장인물의 얼굴 위치 데이터가 저장되며, 동영상 합성부(24)는 저장모듈(15)에 저장된 동영상에서 특정 등장인물의 얼굴의 위치 데이터를 검출하고, 3D부(25)에서 형성된 피측정자의 얼굴의 3D 영상을 동영상의 특정 등장인물의 얼굴로 대체한다.

따라서 피측정자는 동영상이 화면에 표출될 때 동영상 중 특정 등장인물이 자신의 3D 얼굴로 대체된 동영상을 볼 수 있게 된다.

또한 일실시예에서 피측정자의 얼굴 움직임에 따라서 특정 등장인물이 움직일 수 있도록 하는 기술구성이 동일하게 실시된다.

도 1은 국내 등록특허 제 10-0713058호에 개시된 게임 장치의 광 검출방식의 개요를 나타내는 구성도이다.

도 2는은 본 발명의 일실시예를 나타내는 전체적인 구성도이다.

도 3은 본 발명의 일실시예의 회로 블록도이다.

도 4는 본 발명의 일실시예가 동작되는 과정을 설명하는 순서도이다.

도 5는 본 발명의 다른 실시예를 설명하는 블록도이다.

Claims (3)

1. 캐릭터나 특정 인물을 포함하는 인물 영상에서 얼굴영상을 피측정자의 얼굴영상으로 대체 합성하여 표출하는 영상제어장치에 있어서:

   상기 피측정자의 얼굴 위치에 따라서 상기 캐릭터나 특정 인물의 움직임이 각각 지정되어 저장되는 저장수단;

   피측정자의 얼굴을 촬영하는 촬영수단;

   상기 촬영수단에 의하여 촬영된 상기 피측정자의 얼굴 영상을 획득하는 획득수단;

   상기 획득수단에 의하여 획득되는 피측정자의 얼굴 영상을 상기 캐릭터나 특정 인물의 얼굴과 대체하여 합성하는 합성수단;

   상기 합성수단에 의하여 합성된 캐릭터나 특정 인물의 영상을 표시수단에 표시하는 제어수단을 포함하고,

   상기 영상 제어장치는 3D 합성부를 더 포함하고, 상기 3D 합성부는 상기 획득수단에 의하여 획득되는 2D의 상기 피측정자의 얼굴 영상을 3D 얼굴영상으로 변환하고, 상기 합성수단은 상기 3D 얼굴영상을 상기 캐릭터나 특정 인물의 얼굴영상과 대체하여 합성하는 것을 특징으로 하는 영상 제어장치.
2. 청구항 1에서, 상기 영상 제어장치는 상기 촬영수단에 의하여 촬영된 영상에서 상기 피측정자의 얼굴 위치를 감지하는 감지수단을 더 포함하고, 상기 제어수단은 상기 감지수단에 의하여 감지되는 얼굴위치에 따라서 상기 저장수단으로부터 매칭되는 상기 캐릭터나 특정 인물의 움직임을 표출하도록 하는 것을 특징으로 하는 영상 제어장치.
3. 삭제

Images