KR101181300B1 - 멀티카메라 기반의 동작인식 처리방법 - Google Patents

멀티카메라 기반의 동작인식 처리방법 Download PDF

Info

Publication number
KR101181300B1
KR101181300B1 KR1020100110631A KR20100110631A KR101181300B1 KR 101181300 B1 KR101181300 B1 KR 101181300B1 KR 1020100110631 A KR1020100110631 A KR 1020100110631A KR 20100110631 A KR20100110631 A KR 20100110631A KR 101181300 B1 KR101181300 B1 KR 101181300B1
Authority
KR
South Korea
Prior art keywords
image
user
camera
processing method
user object
Prior art date
Application number
KR1020100110631A
Other languages
English (en)
Other versions
KR20120049062A (ko
Inventor
정광모
박영충
최광순
안양근
홍성희
박병하
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020100110631A priority Critical patent/KR101181300B1/ko
Publication of KR20120049062A publication Critical patent/KR20120049062A/ko
Application granted granted Critical
Publication of KR101181300B1 publication Critical patent/KR101181300B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 직각 및 정면의 2대의 저가형 카메라를 이용한 사용자 영상처리 방식 기반의 동작 인식 정보 좌표화를 통해 고정밀성을 요구하지 않는 실감콘텐츠 재생 시스템에서 콘텐츠 인터랙션 처리 기능을 수행하도록 함으로써 교육, 학습 또는 홍보 목적의 공공서비스 기반 사용자 체험형 실감콘텐츠의 체험 공간 내의 사용자의 손, 발의 움직임을 통해 스크린 상의 콘텐츠와 인터랙션을 수행하면서 실시간 효과 및 반응을 피드백하는 실감콘텐츠 재생 시스템을 구축할 수 있도록 한 멀티카메라 기반의 동작인식 처리방법에 관한 것이다.
본 발명의 멀티카메라 기반의 동작인식 처리방법은 실감콘텐츠 체험 공간 전방에 설치된 스크린 상측에 설치되어 사용자의 정면을 촬영하는 정면 카메라와 실감콘텐츠 체험 공간의 상부에서 하부를 향하도록 직각으로 설치되어 사용자의 평면 영상을 촬영하는 직각 카메라로부터 영상을 입력받아 처리하되, 정면 카메라와 직각 카메라로부터 각각 사용자 영상을 획득하는 (a) 과정; 유효한 사용자 객체 검출을 위해 상기 (a) 과정에서 입력받은 영상을 이진화하는 (b) 과정; 상기 (b) 과정을 통해 이진화된 각각의 영상으로부터 레이블링 작업을 통해 사용자 객체 영상을 추출하는 (c) 과정; 직각 카메라로부터 입력되어 이진화된 유효 사용자 객체 영상을 대상으로 객체 움직임에 따른 중심점을 추적하는 (d) 과정 및 정면 직각 카메라와 직각 카메라에 의해 촬영된 영상에 대한 각각의 이진 영상으로부터 사용자의 실감콘텐츠 지시 부분에 대한 좌표를 획득하는 (e) 과정을 포함하여 이루어진다.

Description

멀티카메라 기반의 동작인식 처리방법{multi-camera based motion detection processing method}
본 발명은 멀티카메라 기반의 동작인식 처리방법에 관한 것으로, 특히 직각 및 정면의 2대의 저가형 카메라를 이용한 사용자 영상처리 방식 기반의 동작 인식 정보 좌표화를 통해 고정밀성을 요구하지 않는 실감콘텐츠 재생 시스템에서 콘텐츠 인터랙션 처리 기능을 수행하는 멀티카메라 기반의 동작인식 처리방법에 관한 것이다.
사용자 동작인식을 통해 사실감과 몰입감을 제공하는 실감콘텐츠 서비스는 특히 모션기반 게임분야와 가성현실 체험분야에서 각광을 받고 있는 추세이다. 마이크로소프트사의 Xbox360이나 소니(SONY)의 Playstation3용 모션 캡처 및 처리 장치와 전용 모션 게임 콘텐츠는 이미 출시를 시작했거나 출시할 예정이다.
게임 콘솔용 사용자 동작인식 장치는 사용자의 전면에 설치하는 방식으로 RGB 카메라, 동작인식 센서 및 모션 컨트롤러 장치로 구성된다.
그러나 이러한 콘솔 게임기 기반의 동작인식 처리 방식은 플랫폼에 종속적이고, 적용되는 콘텐츠의 경우도 게임 위주의 콘텐츠로 되어 있으며, 또한 공공서비스용 실감콘텐츠 저작도구로 생성된 콘텐츠를 적용할 수 없는 콘텐츠 적용의 문제점도 있다. 즉, 게임 분야의 경우 특정 게임 플랫폼에 종속적인 처리 방식을 따르는 문제점이 있다.
한편, 교육이나 홍보를 위한 공공서비스용 실감콘텐츠는 전용 저작도구를 통해 생성되며 저작자와 운영자가 진행 스토리에 따라 동작기반 콘텐츠 인터랙션을 즉시 수행해 보는 피드백이 필요하게 된다. 그러나 종래에는 이미 생성된 실감콘텐츠를 재생하고 감상하는 방식을 취하기 때문에 참여형 공공서비스를 위한 스토리가 적용된 저작 콘텐츠를 적용할 수 없고, 확장할 수 없는 구조를 갖는다.
나아가, 실감콘텐츠 체험 공간 내 사용자의 3차원 동작 인식을 위해 종래에는 고가의 스테레오 비전 카메라 혹은 TOF(Time of Flight) 센서 카메라를 필요로 한다. 그러나 전술한 바와 같은 고가 장비를 사용하여 공공기관의 인프라를 구축하게 되면 서비스 확산에 문제가 있게 된다.
본 발명은 전술한 문제점을 해결하기 위해 안출된 것으로서, 직각 및 정면의 2대의 저가형 카메라를 이용한 사용자 영상처리 방식 기반의 동작 인식 정보 좌표화를 통해 고정밀성을 요구하지 않는 실감콘텐츠 재생 시스템에서 콘텐츠 인터랙션 처리 기능을 수행하도록 함으로써 교육, 학습 또는 홍보 목적의 공공서비스 기반 사용자 체험형 실감콘텐츠의 체험 공간 내의 사용자의 손, 발의 움직임을 통해 스크린 상의 콘텐츠와 인터랙션을 수행하면서 실시간 효과 및 반응을 피드백하는 실감콘텐츠 재생 시스템을 구축할 수 있도록 한 멀티카메라 기반의 동작인식 처리방법을 제공함을 목적으로 한다.
전술한 목적을 달성하기 위한 본 발명의 멀티카메라 기반의 동작인식 처리방법은 실감콘텐츠 체험 공간 전방에 설치된 스크린 상측에 설치되어 사용자의 정면을 촬영하는 정면 카메라와 실감콘텐츠 체험 공간의 상부에서 하부를 향하도록 직각으로 설치되어 사용자의 평면 영상을 촬영하는 직각 카메라로부터 영상을 입력받아 처리하되, 정면 카메라와 직각 카메라로부터 각각 사용자 영상을 획득하는 (a) 과정; 유효한 사용자 객체 검출을 위해 상기 (a) 과정에서 입력받은 영상을 이진화하는 (b) 과정; 상기 (b) 과정을 통해 이진화된 각각의 영상으로부터 레이블링 작업을 통해 사용자 객체 영상을 추출하는 (c) 과정; 직각 카메라로부터 입력되어 이진화된 유효 사용자 객체 영상을 대상으로 객체 움직임에 따른 중심점을 추적하는 (d) 과정 및 정면 직각 카메라와 직각 카메라에 의해 촬영된 영상에 대한 각각의 이진 영상으로부터 사용자의 실감콘텐츠 지시 부분에 대한 좌표를 획득하는 (e) 과정을 포함하여 이루어진다.
전술한 구성에서, 상기 (b) 과정은, 영상 이진화를 위한 초기 임계값을 결정하는 단계; 입력 영상의 히스토그램을 분석하는 단계; 상기 히스토그램 분석 결과에 따라 최적의 이진화 임계값을 자동 조절하는 단계 및 상기 최적의 이진화 임계값을 적용하여 영상을 이진화하는 단계를 포함하여 이루어진 것을 특징으로 한다.
상기 (a) 과정 및 상기 (b) 과정에서 성가 이진화 및 차 연산은 입력된 컬러 영상에서 상기 차 연산을 수행한 후 상기 이진화를 수행하는 방식과 상기 컬러 영상을 흑백 영상으로 변환하여 상기 이진화를 먼저 수행한 후에 차연산을 수행하는 방식 중에서 택일 가능한 것을 특징으로 한다.
실감콘텐츠 체험 공간내 다수의 사용자 객체 영상이 존재하는 경우에 이를 구별하기 위해 추출된 각각의 사용자 객체 영상에 대해 ID를 달리 부여하는 것을 특징으로 한다.
상기 (d) 과정은, 직각 카메라로 촬영한 사용자 객체의 평면 영상에서 얼굴과 어깨 부분 합쳐서 타원 모양으로 사용자 객체 영상을 추출한 후에 이러한 평명 영상상의 몸통 부분의 형상을 학습시켜 패턴 매칭의 방법으로 사용자 객체 중심점을 추출하는 것을 특징으로 한다.
상기 (e) 과정은, 이진화 영상에서 사용자 객체 영상의 외곽선을 추출하는 단계; 사용자 객체 영상의 외곽선의 변화를 감지하는 단계; 사용자 객체 중심점에서 최대거리 외곽선을 추출하는 단계 및 사용자의 실감콘텐츠 지시 부분에 대한 좌표를 획득하는 단계를 포함하는 것을 특징으로 한다.
상기 (e) 과정은, 이진화 영상에 의해 촬영된 영상의 첫 픽셀부터 스캔하면서 최초로 이진화값이 변화되는 부분을 추출하는 것을 특징으로 한다.
상기 (e) 과정을 거쳐서 출력되는 파라미터 정보에는 정면 카메라에 의해 촬영한 사용자 영상, 사용자 객체 ID, 실감콘텐츠 체험 공간 내의 평면 영상 기반의 2차원 사용자 위치 좌표 및 3차원 공간상의 실감콘텐츠 터치 좌표 정보를 포함되는 것을 특징으로 한다.
본 발명의 멀티카메라 기반의 동작인식 처리방법에 따르면, 사용자와 실감콘텐츠 사이에서 2대의 저가형 멀티 카메라로부터 입력되는 사용자 객체 영상으로부터 인식된 사용자 동작을 통한 인터랙션 기능을 제공하는 모션 기반 실감콘텐츠를 이용하여 전시, 학습 또는 홍보 효과가 요구되는 공공 서비스에 대한 사용자의 접근성을 확보할 뿐만 아니라 다양한 공공서비스 콘텐츠 이용 경험에 대한 욕구를 수용할 수 있도록 공공 기관의 인프라와 인력의 용이한 운영성, 구축비용 등이 고려된 실감 체험형 콘텐츠 서비스 환경 구축에 효과가 있다.
본 발명의 멀티카메라 기반의 동작인식 처리방법은 어린이 도서관이나 체험 전시관의 실감콘텐츠 체험 서비스 시스템에 적용할 수 있다. 이외에도, 교육, 홍보 또는 전시의 목적으로 제작된 사용자 참여형 실감콘텐츠 체험 서비스 시스템에서 범용 PC 플랫폼과 저가형 비전 카메라를 이용하여 사용자 3차원 동작 인식 처리를 수행하는 시스템 개발에 사용될 수 있다.
나아가, 3차원 가상현실 콘텐츠를 재생하면서 사용자 동작 피드백을 제공하는 인터랙티브 3D 콘텐츠 재생 시스템에서 멀티 카메라를 통한 사용자 동작 인지 처리 서브 시스템 개발에 사용될 수도 있다.
도 1은 본 발명의 멀티카메라 기반의 동작인식 처리방법이 적용되는 실감콘텐츠 체험 시스템 구성도.
도 2는 본 발명의 멀티카메라 기반의 동작인식 처리방법을 설명하기 위한 흐름도,
도 3은 본 발명의 멀티카메라 기반의 동작인식 처리방법에서 영상객체 추출과정을 통해 얻어진 사용자 객체 영상과 그 이진화 영상 화면.
도 4는 본 발명의 멀티카메라 기반의 동작인식 처리방법에 따른 전송 데이터 구조도.
도 5는 본 발명의 멀티카메라 기반의 동작인식 처리방법에서 각종 제어 파라미터를 설정받는 인터페이스 화면이다.
이하에는 첨부한 도면을 참조하여 본 발명의 멀티카메라 기반의 동작인식 처리방법의 바람직한 실시예에 대해 상세하게 설명한다.
먼저 본 발명의 멀티카메라 기반의 동작인식 처리방법은 교육목적 혹은 홍보목적의 공공서비스 기반 사용자 체험형 가상현실 콘텐츠 재생 시스템에서 체험 공간 내에 있는 사용자의 동작인식을 통한 실감콘텐츠 상호작용 기능을 제공하기 위해 개발된 것으로, 2대의 저가형 카메라, 예를 들어 웹카메라를 이용한 사용자 영상처리 방식 기반의 동작인식 정보 좌표화를 통해 고가의 고정밀성을 요구하지 않는 실감콘텐츠 재생 시스템에서 콘텐츠 인터랙션 처리 기능을 수행한다.
도 1은 본 발명의 멀티카메라 기반의 동작인식 처리방법이 적용되는 실감콘텐츠 체험 시스템 구성도이다. 도 1에 도시한 바와 같이 본 발명의 멀티카메라 기반의 동작인식 처리방법이 적용되는 실감콘텐츠 체험 시스템은 크게 사용자 영상 획득을 위한 2대의 카메라(10),(20), 본 발명의 멀티 카메라 기반의 동작인식 처리방법을 수행하기 위한 프로그램, 즉 사용자와 실감콘텐츠의 상호 작용을 영상처리를 통해 수행하는 실감콘텐츠 인터랙션 처리 프로그램이 탑재되어 있는 컴퓨터(40), 사용자 영상 합성과 실감콘텐츠 디스플레이 및 인터랙션 서비스를 제공하는 실감콘텐츠 메인 랜더링 프로그램이 탑재되어 있는 컴퓨터(50), 렌더링용 컴퓨터(50)에 연결되어 렌더링용 컴퓨터(50)로부터 출력되는 영상 데이터를 체험공간 전방의 스크린이나 벽면 등에 투사하는 빔 프로젝터(60 및 렌더링용 컴퓨터(50)로부터 음성 데이터를 음파로 변환하여 출력하는 스피커(30)를 포함하여 이루어질 수 있다.
전술한 구성에서, 2대의 카메라 중 1대는 스크린 상측에 비스듬히 설치되어 사용자의 정면을 촬영하는 카메라(이하 이를 '정면 카메라'라고 한다)(20)이고, 나머지 1대는 스크린 전방의 실감콘텐츠 체험 공간의 상부에서 하부를 향하도록 직각으로 설치되어 사용자의 평면 영상(top view)을 촬영하는 카메라(이하 이를 '직각 카메라'라 한다)(10)인바, 이들은 모두 USB 포트를 통해 인터랙션 처리용 컴퓨터(40)에 연결될 수 있다.
인터랙션 처리용 컴퓨터(40)와 렌더링용 컴퓨터(50)는 로컬 랜(LAN)으로 연결되어 있는데, 인터랙션 처리용 컴퓨터(40)는 이를 통해 사용자 영상 정보와 위치 정보 및 실감콘텐츠 터치 좌표 정보를 실시간으로 렌더링용 컴퓨터(50)에 전송한다.
한편, 본 발명의 멀티카메라 기반의 동작인식 처리방법을 수행하기 위한 프로그램은 크게 정면 및 직각 설치 카메라를 이용한 3차원 사용자 동작 인식을 위한 사용자 객체 영상 획득 모듈, 실감콘텐츠 사용자 인터랙션 기능 수행에 필요한 사용자 객체 영상 검출과 신체동작 모델링 정보 기반의 사용자 동작 인식 정보 추출 모듈 및 평면/깊리 동작 좌표값을 이용한 3차원 사용자 동작 인식정보 추출을 통한 3차원 사용자 공간 센싱 콘텐츠 인터랙션 기능 모듈로 구성될 수 있다.
도 2는 본 발명의 멀티카메라 기반의 동작인식 처리방법을 설명하기 위한 흐름도이다. 도 2에 도시한 바와 같이, 본 발명의 본 발명의 멀티카메라 기반의 동작인식 처리방법은 크게 정면 카메라(20)와 직각 카메라(10)로부터 사용자 영상을 획득하는 과정(S10); 유효한 사용자 객체 검출을 위해 입력받은 영상을 이진화하는 과정(S20); 이진화된 영상으로부터 사용자 객체 영상을 추출하는 과정(S30); 직각 카메라(10)로부터 입력된 유효 사용자 객체 영상을 대상으로 객체 움직임에 따른 중심점을 추적하는 사용자 객체 움직임 추적 과정(S40) 및 직각 카메라(10)와 정면 카메라(20)에 의해 촬영된 영상에 대한 각각의 이진 영상으로부터 사용자의 실감콘텐츠 지시 부분에 대한 좌표를 획득하는 과정(S50)을 포함하여 이루어지는데, 이렇게 획득된 좌표는 이후에 실감체험형 콘텐츠 렌더링 시스템에 전달되어 사용자-실감 콘텐츠 사이의 인터랙션에 반영되게 된다.
이하 이를 구체적으로 설명하면, 정면 카메라(20)와 직각 카메라(10)로부터 사용자 영상을 획득하는 과정(S10)은 다시 정면 카메라(20) 및 직각 카메라(10)를 통해 실시간으로 사용자 객체 영상을 입력받는 단계(S12)와 이렇게 입력받은 영상으로부터 사용자 객체 영상을 검출하기 위해 기준 배경(background) 영상과의 차 연산(Subtraction)을 수행하여 사용자 객체 영상을 추출하는 단계(S14)로 이루어지는데, 이를 위해 사전에 사용자 객체 영상이 존재하지 않는 배경 영상을 기준 영상으로 저장해 두고 있어야 한다. 후술하는 도 5의 인터페이스 화면에서 "Capture BG" 버튼은 배경 영상을 캡처하여 저장하는데 사용하는 버튼이다.
다음으로, 유효한 사용자 객체 검출을 위해 입력받은 영상을 이진화하는 과정(S20)은 다시 영상 이진화를 위한 초기 임계값(Threshold value)을 결정하는 단계(S22), 입력 영상의 히스토그램을 분석하는 단계(S24), 히스토그램 분석 결과에 따라 최적의 이진화 임계값을 자동 조절하는 단계(S26) 및 이러한 최적의 이진화 임계값을 적용하여 영상을 이진화하는 단계(S28)를 포함하여 이루어진다.
여기에서 초기 임계값 설정은 체험 공간의 조명이나 그림자 요소를 고려하여 운영자가 임의로 설정할 수 있고, 이진화하는 방식에 있어서도 컬러 영상에서 차 연산을 수행한 후 이진화를 수행하는 방식과(Diff. First)과 컬러 영상을 흑백(gray scale) 영상으로 변환한 후에 차연산을 수행하는 방식 중에서 어느 한 방식이 사용될 수 있는데, 후술하는 도 5의 인터페이스 화면에는 이러한 초기 이진화 임계값 설정(입력)창과 이진화 방식을 선택하기 위한 래디얼 버튼(Diff. First/Gray First)이 마련되어 있다.
다음으로, 이진화된 영상으로부터 사용자 객체 영상을 추출하는 과정(S30)은 사용자 객체 영상을 추출하기 위해 이진화된 영상에 대한 객체 레이블링을 수행하는 단계(S32); 객체 레이블링 수행 결과에 따라 유효 객체(사용자 객체 영상) 영역을 필터링하는 단계(S34) 및 객체(사용자 객체 영상)별로 특징, 즉 외곽선과 중심좌표를 추출하는 단계(S36)를 포함하여 이루어진다.
여기에서, 유효한 사용자 객체 영상을 검출하기 위해 객체 레이블링(labeling) 단계에서는 이진화된 영상 픽셀을 처음부터 스캔하면서 설정 개수 이하의 픽셀 집합으로 구성된 객체는 삭제함과 함께 객체 외곽선 추적을 통해 사용자 객체 영상을 검출하여 레이블링하게 된다. 본 발명에 따르면, 체험 공간 내 최대 3명의 사용자에 대한 객체 추출이 가능하도록 프로그램을 구성하고 있는데, 추출된 사용자 객체 영상을 상호 구별하기 위해 예를 들어 좌에서부터 우로 ID를 달리 부여함과 함께 그 색상도 차등, 예를 들어 적(Red), 녹(Green) 및 청(Blue)으로 표시한다.
다음으로, 사용자 객체 움직임 추적 과정(S40)은 직각 카메라(10)에서 촬영된 영상에서 관심 영역인 사용자 객체 영상을 추출하는 단계(S42), 추출된 관심 영역에서 객체 영상의 움직임 추적점(중심점)을 설정하는 단계(S44), 객체 움직임에 따른 중심점을 추적하는 단계(S46) 및 객체 중심 추적 좌표를 렌더링 컴퓨터(5)에 실시간 전송하는 단계(S48)를 포함하여 이루어질 수 있다.
여기에서 추출된 사용자 객체 영상의 중심점 위치 추출은 레이블링된 유효한 사용자 객체 영상을 대상으로 하는데, 사용자 객체 영상의 사각(四角) 영역에서의 중심을 계산하여 그 중심점을 추출하여 추적한다. 이때 공간 설계의 특성상 직각 카메라(10)와 사용자의 거리는 예를 들어 약 2-3m 정도로 정면 카메라(20)와 사용자의 거리에 비해 상대적으로 짧기 때문에 사용자가 만약 한쪽 팔을 크게 벌리거나 한다면 객체 추적점(중심점)이 정수리 부분에서 팔을 벌린 방향으로 움직일 수 있는 문제가 있을 수 있다. 이러한 문제를 고려하여 직각 카메라(10)로 촬영한 사용자 객체의 평면 영상(Top View)에서 얼굴과 어깨 부분 합쳐서 타원 모양으로 사용자 객체 영상을 추출한 후에 이러한 평명 영상상의 몸통(body) 부분의 형상을 학습시켜 패턴 매칭의 방법으로 사용자 객체 중심점을 추출하는 것이 바람직하다. 이와 같이 사용자 객체 영상의 중심점을 추적하여 전송하는 이유는 첫 번째로 재생되는 실감콘텐츠에 사용자 객체 영상을 보다 정확하게 렌더링하여 재생하기 위해서이고, 두 번째로 사용자 터치 영역의 추출 작업의 정확성을 높이기 위해서이다.
다음으로 사용자의 실감콘텐츠 지시 부분에 대한 좌표 획득 과정(S50)은 이진 영상에서 사용자 객체 영상의 외곽선을 추출하는 단계(S52), 사용자 객체 영상의 외곽선의 변화를 감지하는 단계(S54), 사용자 객체 중심점에서 최대거리 외곽선을 추출하는 단계(S56) 및 사용자의 실감콘텐츠 지시 부분에 대한 좌표를 획득하는 단계(S58)를 포함하여 이루어지는데, 이는 직각 카메라(10)로부터 입력된 평면 영상을 사용하여 수행될 수 있다. 여기에서 사용자가 실감콘텐츠를 지시하는 부분은 주로 손이나 발로 한정될 것이기에 최대거리 외곽선 추출 작업 역시 사용자 객체 영상의 손이나 발의 끝 부분의 좌표값을 찾는 작업이 될 것이다.
더욱이 실감콘텐츠 지시 부분을 보다 신속하게 추출하기 위해서 직각 카메라(10)에 의해 촬영된 영상의 첫 픽셀, 즉 좌상단의 픽셀부터 스캔하면서 최초로 손이나 발이 영역을 만나는 부분을 추출하고 좌표화 정보를 추출한다.
도 3은 본 발명의 멀티카메라 기반의 동작인식 처리방법에서 영상객체 추출과정을 통해 얻어진 영상객체 이미지 화면으로, 좌측은 직각 카메라(10)로부터 입력된 사용자 영상을 흑백 처리한 화면이고, 우측은 이로부터 기준 배경 영상을 차분하고 이진화 처리한 화면이다. 도 3에서는 체험 공간에 2명의 사용자가 존재함을 알 수 있고, 이진화 처리한 영상은 백색으로 나타나는 반면에 기준 배경 영상은 흑색으로 나타남을 알 수 있다. 따라서 우측의 이진화 처리 영상을 그 좌측 상단 픽셀로부터 우측 및 하측의 순서로 순차적으로 스캔하다가 최초로 마주치는 백색 픽셀의 좌표점이 사용자가 터치한 영역이 될 것이다.
도 4는 본 발명의 멀티카메라 기반의 동작인식 처리방법에 따른 전송 데이터 구조도이다. 도 4에 도시한 바와 같이, 실감콘텐츠 재생시 사용자 인터랙션 서비스를 제공하기 위해서 전송되는 파라미터 정보로는 정면 카메라에 의해 촬영한 사용자 영상에 더하여 사용자 객체 ID(User_Obj_Id), 실감콘텐츠 체험 공간 내의 사용자 위치 좌표(User_X_Position, User_Y_Position) 및 실감콘텐츠 터치 좌표 정보(Indicator_X_Position, Indicator_Y_Position, Indicator_Z_Position)를 포함하여 이루어질 수 있는데, 이들 파라미터 정보는 예를 들어 UDP(User Datagram Protocol) 패킷의 페이로드(payload)에 포함되어 전송될 수 있다.
도 4에서, User_Obj_ID는 배경이 차분되고 이진화된 입력 영상을 이용하여 하나의 영역으로 묶여진 유사값을 가지는 관심 픽셀 영역인 사용자 객체 영역을 분할하여 레이블링한 구분자이다. User_X_Position과 User_Y_position은 직각 카메라를 통해 입력된 실감콘텐츠 체험 공간의 2차원 평면 좌표계에서의 사용자 객체 영상의 중심 좌표 정보이다.
Indicator_X_Position, Indicator_Y_Position, Indicator_Z_Position은 각각 전면 카메라를 통해 입력된 체험공간 영상과 직각 카메라를 통해 입력된 체험공간 영상으로 구성된 사용자 동작 인지를 위한 3차원 공간 좌표계에서 사용자의 평면 동작과 깊이 동작의 인식 처리를 수행하여 추출한 실감콘텐츠 인터랙션 터치 동작 좌표 정보이다.
도 5는 본 발명의 멀티카메라 기반의 동작인식 처리방법에서 각종 제어 파라미터를 설정받는 인터페이스 화면이다. 도 5에 도시한 바와 같이, 본 발명의 멀티카메라 기반의 동작인식 처리방법에 따른 유저 인터페이스 화면에 따르면, 체험 서비스 환경 변경 대비 기준 배경 영상(Background)을 설정하는 버튼(Capture BG), 입력 영상 이진화 방식 변경(Diff. First 또는 Gray First) 버튼과 이진화 임계값 설정창 및 실감콘텐츠 터치 포인팅 영역 검출 방식, 즉 전술한영상 스캔 방식과 객체 외곽선 추출 방식(Simple 또는 Contour)의 변경 적용 버튼 및 영상 스캔 방식에 있어서의 임계값 설정창 등이 마련되어 있다.
본 발명은 전술한 실시예에 국한되지 않고 본 발명의 기술사상이 허용하는 범위 내에서 다양하게 변형하여 실시할 수가 있다.
10: 직각 카메라, 20: 정면 카메라,
30: 스피커, 40: 인터랙션 처리용 컴퓨터,
50: 렌더링용 컴퓨터, 60: 빔 프로젝터

Claims (8)

  1. 실감콘텐츠 체험 공간 전방에 설치된 스크린 상측에 설치되어 사용자의 정면을 촬영하는 정면 카메라와 실감콘텐츠 체험 공간의 상부에서 하부를 향하도록 직각으로 설치되어 사용자의 평면 영상을 촬영하는 직각 카메라로부터 영상을 입력받아 처리하되,
    정면 카메라와 직각 카메라로부터 각각 사용자 컬러 영상을 획득하는 (a) 과정;
    유효한 사용자 객체 검출을 위해 상기 (a) 과정에서 입력받은 컬러 영상을 이진화하는 (b) 과정;
    상기 (b) 과정을 통해 이진화된 각각의 영상으로부터 레이블링 작업을 통해 사용자 객체 영상을 추출하는 (c) 과정;
    직각 카메라로부터 입력되어 이진화된 유효 사용자 객체 영상을 대상으로 객체 움직임에 따른 중심점을 추적하는 (d) 과정 및
    정면 직각 카메라와 직각 카메라에 의해 촬영된 영상에 대한 각각의 이진화 영상으로부터 사용자의 실감콘텐츠 지시 부분에 대한 좌표를 획득하는 (e) 과정을 포함하고,
    상기 (e) 과정은 이진화 영상에서 사용자 객체 영상의 외곽선을 추출하는 단계; 사용자 객체 영상의 외곽선의 변화를 감지하는 단계; 사용자 객체 중심점에서 최대거리 외곽선을 추출하는 단계 및 사용자의 실감콘텐츠 지시 부분에 대한 좌표를 획득하는 단계를 포함하여 이루어진 멀티카메라 기반의 동작인식 처리방법.
  2. 제 1 항에 있어서, 상기 (b) 과정은,
    영상 이진화를 위한 초기 임계값을 결정하는 단계;
    입력 영상의 히스토그램을 분석하는 단계;
    상기 히스토그램 분석 결과에 따라 최적의 이진화 임계값을 자동 조절하는 단계 및
    상기 최적의 이진화 임계값을 적용하여 영상을 이진화하는 단계를 포함하여 이루어진 것을 특징으로 하는 멀티카메라 기반의 동작인식 처리방법.
  3. 제 1 항에 있어서,
    상기 (b) 과정에서 상기 이진화는 상기 (a) 과정에서 입력받은 컬러 영상에서 기준 배경 영상과의 차 연산을 수행한 이후에 이루어지거나 상기 (b) 과정에서 입력받은 컬러 영상을 흑백 영상으로 변환한 후에 바로 이루어지는 것을 특징으로 하는 멀티카메라 기반의 동작인식 처리방법.
  4. 제 2 항에 있어서,
    실감콘텐츠 체험 공간내 다수의 사용자 객체 영상이 존재하는 경우에 이를 구별하기 위해 추출된 각각의 사용자 객체 영상에 대해 ID를 달리 부여하는 것을 특징으로 하는 멀티카메라 기반의 동작인식 처리방법.
  5. 제 4 항에 있어서,
    상기 (d) 과정은 직각 카메라로 촬영한 사용자 객체의 평면 영상에서 얼굴과 어깨 부분 합쳐서 타원 모양으로 사용자 객체 영상을 추출한 후에 이러한 평명 영상상의 몸통 부분의 형상을 학습시켜 패턴 매칭의 방법으로 사용자 객체 중심점을 추출하는 것을 특징으로 하는 멀티카메라 기반의 동작인식 처리방법.
  6. 삭제
  7. 제 4 항에 있어서, 상기 (e) 과정은,
    이진화 영상에 의해 촬영된 영상의 첫 픽셀부터 스캔하면서 최초로 이진화값이 변화되는 부분을 추출하는 것을 특징으로 하는 멀티카메라 기반의 동작인식 처리방법.
  8. 제 1 항 내지 제 5 항 및 제 7 항 중 어느 한 항에 있어서,
    상기 (e) 과정을 거쳐서 출력되는 파라미터 정보에는 정면 카메라에 의해 촬영한 사용자 영상, 사용자 객체 ID, 실감콘텐츠 체험 공간 내의 평면 영상 기반의 2차원 사용자 위치 좌표 및 3차원 공간상의 실감콘텐츠 터치 좌표 정보를 포함하는 것을 특징으로 하는 멀티카메라 기반의 동작인식 처리방법.
KR1020100110631A 2010-11-08 2010-11-08 멀티카메라 기반의 동작인식 처리방법 KR101181300B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100110631A KR101181300B1 (ko) 2010-11-08 2010-11-08 멀티카메라 기반의 동작인식 처리방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100110631A KR101181300B1 (ko) 2010-11-08 2010-11-08 멀티카메라 기반의 동작인식 처리방법

Publications (2)

Publication Number Publication Date
KR20120049062A KR20120049062A (ko) 2012-05-16
KR101181300B1 true KR101181300B1 (ko) 2012-09-10

Family

ID=46267110

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100110631A KR101181300B1 (ko) 2010-11-08 2010-11-08 멀티카메라 기반의 동작인식 처리방법

Country Status (1)

Country Link
KR (1) KR101181300B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101807513B1 (ko) * 2015-05-13 2017-12-12 한국전자통신연구원 3차원 공간에서 영상정보를 이용한 사용자 의도 분석장치 및 분석방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101959281B1 (ko) * 2018-03-15 2019-03-18 옥철식 영상 처리 장치 및 이를 포함하는 모션 인식형 증강현실 체험 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101807513B1 (ko) * 2015-05-13 2017-12-12 한국전자통신연구원 3차원 공간에서 영상정보를 이용한 사용자 의도 분석장치 및 분석방법

Also Published As

Publication number Publication date
KR20120049062A (ko) 2012-05-16

Similar Documents

Publication Publication Date Title
US9628755B2 (en) Automatically tracking user movement in a video chat application
KR101566543B1 (ko) 공간 정보 증강을 이용하는 상호 인터랙션을 위한 방법 및 시스템
CA2786439C (en) Depth camera compatibility
CA2786436C (en) Depth camera compatibility
US20150245010A1 (en) Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use
WO2013175700A1 (ja) 情報処理装置および情報処理方法
KR102369989B1 (ko) 적외선 이미징을 사용한 색상 식별
KR20110084748A (ko) 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법
WO2023146241A1 (en) System and method for generating a three-dimensional photographic image
KR20180032059A (ko) 3차원 컨텐츠 제공 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
McCormack et al. 2D LIDAR as a distributed interaction tool for virtual and augmented reality video games
JP5555193B2 (ja) データ処理装置、データ処理システム、及びプログラム
KR101181300B1 (ko) 멀티카메라 기반의 동작인식 처리방법
US10632362B2 (en) Pre-visualization device
JP5217917B2 (ja) 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム
KR20210003515A (ko) 인터렉티브모드를지원하는증강현실구현장치
Numata et al. A 3D Marker Recognition Method for AR Game Development
KR20200060202A (ko) 증강현실 기반의 동화 구현 방법 및 장치
KR102316042B1 (ko) 3d 모형의 마커를 다중으로 인식하는 증강현실 콘텐츠 제공 방법 및 시스템
Luo et al. Research and simulation on virtual movement based on kinect
Bailey et al. Real Time 3D motion tracking for interactive computer simulations
KR20240083496A (ko) 움직임 감지 상호작용형 실감형 콘텐츠 제공 장치 및 제어 방법
Keskin Markerless augmented reality applications
Roomann-Kurrik Development of Computer Vision-Based Percussion Systems using 3D Stereoscopic Object Tracking and Gesture Recognition Capstone Design Project Final Report

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150626

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160901

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190415

Year of fee payment: 7

R401 Registration of restoration
FPAY Annual fee payment

Payment date: 20190904

Year of fee payment: 8