KR20230081243A - Xr 환경 구축을 위한 다중 프로젝션 시스템에서의 roi 추적 및 최적화 기술 - Google Patents

Xr 환경 구축을 위한 다중 프로젝션 시스템에서의 roi 추적 및 최적화 기술 Download PDF

Info

Publication number
KR20230081243A
KR20230081243A KR1020210169120A KR20210169120A KR20230081243A KR 20230081243 A KR20230081243 A KR 20230081243A KR 1020210169120 A KR1020210169120 A KR 1020210169120A KR 20210169120 A KR20210169120 A KR 20210169120A KR 20230081243 A KR20230081243 A KR 20230081243A
Authority
KR
South Korea
Prior art keywords
image
user
silhouette
control module
camera
Prior art date
Application number
KR1020210169120A
Other languages
English (en)
Other versions
KR102630904B1 (ko
Inventor
최유주
윤현주
Original Assignee
윤현주
서울미디어대학원대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤현주, 서울미디어대학원대학교 산학협력단 filed Critical 윤현주
Priority to KR1020210169120A priority Critical patent/KR102630904B1/ko
Priority to PCT/KR2022/019150 priority patent/WO2023101383A1/ko
Publication of KR20230081243A publication Critical patent/KR20230081243A/ko
Application granted granted Critical
Publication of KR102630904B1 publication Critical patent/KR102630904B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 따르는 제어모듈에 의해서 수행되는, 프로젝션 영상 내의 사용자와의 간섭을 제거하기 위한 이미지처리 방법은 (a) 카메라를 통하여 전방을 촬영하고, 사용자가 위치한 영역을 인식하여 상기 사용자와 상기 카메라 간의 거리값을 산출하는 단계; (b) 상기 거리값과 상기 카메라를 통하여 촬영한 상기 영상으로부터 상기 사용자의 실루엣을 추출하는 단계; (c) 상기 거리값과 상기 실루엣을 기초로 마스킹이미지를 생성하는 단계; 및 (d) 상기 마스킹이미지를 투사할 영상에 오버랩하여, 프로젝터를 통해 영상을 투사하는 단계; 를 포함한다.

Description

XR 환경 구축을 위한 다중 프로젝션 시스템에서의 ROI 추적 및 최적화 기술{ROI TRACKING AND OPTIMIZATION TECHNOLOGY IN MULTI PROJECTION SYSTEM FOR BUILDING XR ENVIRONMENT}
본 발명은 XR 환경 구축을 위한 다중 프로젝션 시스템에서의 ROI 추적 및 최적화 기술에 관한 것으로서, 보다 상세하게는, 영상이 투사되고 있는 스크린 앞에 사람이 위치한 경우, 사람을 추적하여 인식 후 사람과의 간섭을 제거하는 기술에 관한 것이다.
본 발명은 과제관리전문기관으로 서울산업진흥원, 연구사업명으로 2021년 XR 산학연구회, 연구과제명으로 메타버스 XR 기술 기반 예술의 표현과 전시기법 연구, 과제수행기관으로 비즈웨이브 외 5개 기관(컨소시엄) 및 연구기간은 2021년 5월 1일부터 2021년 11월 31일에 의한 출원이다.
VR, AR, MR 등 다양한 실감기술의 적용을 통한 뮤지컬, 연극, 콘서트, 전시회 등 문화예술공연에서 배경에 영상을 활용한 무대는 증가하고 있다. 그러나 프로젝터에서 스크린으로 투사하는 영상 앞에서 공연이나 전시를 진행할 경우, 연기하는 배우 또는, 관람을 하는 관람객이 영상에 가려지는 현상이 발생한다. 따라서 영상에 가려진 배우를 인식하기 어렵고, 전시작품 앞에서 사진을 촬영할 경우 관람객을 구분하기 어렵게 되는 단점이 있다. 이에 스크린에 투사되는 영상 앞에 사람이 위치하였을 때, 사람을 인식하여 영상과 분리하여 투사하는 기술이 요구되고 있다.
기존 실감기술은 VR, AR, MR 등 1인용 기기를 활용한 기술로 적용 범위가 한정적이었으며, 촬영된 영상이나 이미지를 개인이 기기로 감상하는 정도에 불과하였다. 그리고 낮은 해상도, 좁은 FOV(Field Of View), 불편한 착용감 및 어지러움 등의 기술적 한계가 있다.
또, 기존 실감기술은 미리 촬영된 영상 내에서 1인용 기기를 활용하여 정해진 행동을 정해진 범위 내에서 정해진 방식으로 참여하는 수동적인 기능에 한정되었다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, XR환경을 구축하여 프로젝터에서 스크린으로 투사하는 영상에 가려진 배우 및 관객을 인식 후 간섭을 제거하는 기술을 제공하는 것을 목적으로 한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따르는 제어모듈에 의해서 수행되는, 프로젝션 영상 내의 사용자와의 간섭을 제거하기 위한 이미지처리 방법은 (a) 카메라를 통하여 전방을 촬영하고, 사용자가 위치한 영역을 인식하여 상기 사용자와 상기 카메라 간의 거리값을 산출하는 단계; (b) 상기 거리값과 상기 카메라를 통하여 촬영한 상기 영상으로부터 상기 사용자의 실루엣을 추출하는 단계; (c) 상기 거리값과 상기 실루엣을 기초로 마스킹이미지를 생성하는 단계; 및 (d) 상기 마스킹이미지를 투사할 영상에 오버랩하여, 프로젝터를 통해 영상을 투사하는 단계;를 포함한다.
상기 (a)단계는 상기 영상에서 객체가 상기 카메라로부터 가장 가까운 위치와 가장 먼 위치에서의 평면을 정의하고, 상기 피사체와의 거리 사이에 있는 각각의 평면을 촬영한 상기 카메라 영상과 윈도우 영상간의 변환 행렬을 계산하여 산출한다.
상기 (b)단계는 (b-1) 사용자에 대응하는 객체를 인식하는 단계; (b-2) 상기 객체 주변의 ROI 공간을 정의하는 단계; (b-3) 상기 ROI 공간에서 상기 관절을 인식하는 단계; 및 (b-4) 상기 관절을 인식한 후 그레이스케일 영상으로 이진화 변환 하여 특정 임계값을 기준으로, 상기 영상이 투영된 벽과 상기 사용자의 영역을 나누는 단계;를 포함한다.
상기 ROI 공간은 상기 카메라가 촬영한 영상에서 상기 실루엣을 추출하기 위해 필요한 영역이다.
상기 사용자의 움직임 및 자세에 따라 추출되는 상기 관절 정보를 연속 프레임 정보를 기반으로 보정한다.
상기 (c)단계 이전에 상기 실루엣이 포함된 상기 영상을 제스처인식학습모델에 입력하여 제스처인식정보에 대해 출력을 받고, 출력된 상기 제스처인식정보를 텐서플로우모델(Tensor Flow Model)에 입력하여 제스처타입정보를 출력하고, 출력된 제스처타입정보를 종합하여 실루엣을 보정하는 단계를 포함한다.
상기 (c)단계는 상기 거리값을 기초로 상기 실루엣을 추출 후 보정하여 상기 실루엣의 외형을 따라서 마스킹이미지를 생성한다.
상기 (d)단계는 상기 마스킹이미지를 상기 사용자가 위치한 부분의 상기 거리값 정보를 기반으로 해당 깊이에 맞는 변환행렬을 적용하여 생성하고, 상기 영상에서 상기 실루엣의 외형을 따라서 잘라낸 상기 마스킹이미지를 기존의 상기 영상 위에 오버레이하여 영상을 상기 스크린으로 송출한다.
제어모듈에 의해서 수행되는, 프로젝션 영상 내의 사용자와의 간섭을 제거하기 위한 이미지처리 방법은 제어모듈에 의해서 수행되는, 프로젝션 영상 내의 사용자와의 간섭을 제거하기 위한 이미지처리 방법을 수행하기 위한 프로그램이 저장된 메모리; 및 상기 프로그램을 실행하기 위한 프로세서;를 포함하며, 상기 프로세서는, 상기 프로그램의 실행에 따라 상기 방법을 수행하며, 상기 방법은 (a) 카메라를 통하여 전방을 촬영하고, 사용자가 위치한 영역을 인식하여 상기 사용자와 상기 카메라 간의 거리값을 산출하는 단계; (b) 상기 거리값과 상기 카메라를 통하여 촬영한 상기 영상으로부터 상기 사용자의 실루엣을 추출하는 단계; (c) 상기 거리값과 상기 실루엣을 기초로 마스킹이미지를 생성하는 단계; 및 (d) 상기 마스킹이미지를 투사할 영상에 오버랩하여, 프로젝터를 통해 영상을 투사하는 단계;를 포함한다.
본 발명은 XR 환경 구축을 위한 다중 프로젝션 시스템에서의 ROI 추적 및 최적화 기술로 프로젝터를 통해 투사되는 스크린 앞에 위치한 사람을 추적 및 인식하여 간섭을 제거한 후 영상을 재투사하여 높은 품질의 공연, 전시를 진행 할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따르는 XR 환경 구축을 위한 다중 프로젝션 시스템에서의 ROI 추적 및 최적화 기술의 개념도이다.
도 2는 본 발명의 일 실시예에 따르는 XR 환경 구축을 위한 다중 프로젝션 시스템에서의 ROI 추적 및 최적화 기술의 구성도이다.
도 3은 본 발명의 일 실시예에 따르는 XR 환경 구축을 위한 다중 프로젝션 시스템에서의 ROI 추적 및 최적화 기술의 순서도이다.
도 4는 본 발명의 일 실시예에 따르는 XR 환경 구축을 위한 다중 프로젝션 시스템에서의 ROI 추적 및 최적화 기술의 ROI 추적을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따르는 XR 환경 구축을 위한 다중 프로젝션 시스템에서의 ROI 추적 및 최적화 기술의 ROI 추적 및 최적화 기술을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따르는 XR 환경 구축을 위한 다중 프로젝션 시스템에서의 ROI 추적 및 최적화 기술의 다중 인물에 대한 ROI 추적 및 최적화 기술을 설명하기 위한 예시도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
이하에서 언급되는 "사용자 단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), VR HMD(예를 들어, HTC VIVE, Oculus Rift, GearVR, DayDream, PSVR 등)등을 포함할 수 있다. 여기서, VR HMD 는 PC용 (예를 들어, HTC VIVE, Oculus Rift, FOVE, Deepon 등)과 모바일용(예를 들어, GearVR, DayDream, 폭풍마경, 구글 카드보드 등) 그리고 콘솔용(PSVR)과 독립적으로 구현되는 Stand Alone 모델(예를 들어, Deepon, PICO 등) 등을 모두 포함한다. 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 스마트폰(smart phone), 태블릿 PC, 웨어러블 디바이스뿐만 아니라, 블루투스(BLE, Bluetooth Low Energy), NFC, RFID, 초음파(Ultrasonic), 적외선, 와이파이(WiFi), 라이파이(LiFi) 등의 통신 모듈을 탑재한 각종 디바이스를 포함할 수 있다. 또한, "네트워크"는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
프로그램(또는 애플리케이션)이 저장된 메모리와 위 프로그램을 실행하는 프로세서를 포함하여 구성될 수 있다. 여기서 프로세서는 메모리에 저장된 프로그램의 실행에 따라 다양한 기능을 수행할 수 있는데, 각 기능에 따라 프로세서에 포함되는 세부 구성요소들로 나타낼 수 있다.
먼저, 도1은 제어모듈(200)에 의해서 수행되는, 프로젝션 영상 내의 사용자와의 간섭을 제거하기 위한 이미지처리 방법을 설명하기 위한 개념도이다.
카메라(100)는 프로젝터(300) 영상이 투사되고 있는 스크린 앞에 사람의 움직임 및 위치를 트레킹 할 수 있다. 영상은 움직이는 영상뿐만 아니라, 사진과 같은 이미지 일 수도 있다. 제어모듈(200)은 사람의 움직임 및 위치에서 포즈 데이터 추출을 할 수 있다. 추출한 포즈 데이터를 마스킹 처리 후 프로젝터(300)를 통해 영상을 스크린에 투사한다.
이하, 도 2는 본 발명의 일 실시예에 따르는 XR 환경 구축을 위한 다중 프로젝션 시스템에서의 ROI 추적 및 최적화 기술의 구성도이다.
본 발명의 일 실시예에 따르는 XR 환경 구축을 위한 다중 프로젝션 시스템에서의 ROI 추적 및 최적화 기술은 카메라(100), 제어모듈(200) 및 프로젝터(300)로 구성된다. 카메라(100)는 프로젝터(300) 영상이 투사되고 있는 스크린을 촬영하여 앞에 있는 사람의 움직임을 트레킹 할 수 있다. 촬영된 영상은 제어모듈(200)로 전송되어 사람의 포즈 데이터를 추출한다. 추출된 포즈 데이터를 마스킹 처리 후 프로젝터(300)를 통해 영상을 투사한다
이하, 도 3은 본 발명의 일 실시예에 따르는 XR 환경 구축을 위한 다중 프로젝션 시스템에서의 ROI 추적 및 최적화 기술의 순서도이다.
먼저, 프로젝션 시스템에서 투사되는 영상 앞에 있는 사용자를 촬영한다.(S110)
예를 들어 뮤지컬, 공연, 전시회에서 배경으로 투사되는 영상 및 이미지 앞에 사용자(배우 또는 관람객)가 위치하면 카메라(100)는 사용자를 촬영하고, 프레임 안에서 배우 또는 관람객을 트레킹한다.
촬영된 영상에서 거리값을 추출한다.(S120)
예를 들어 투사되는 영상 및 이미지 앞에 있는 사용자(배우 또는 관람객)가 촬영된 영상에서 사용자가 카메라(100)로부터 가장 가까운 위치와 가장 먼 위치에서의 평면을 정의하고, 각 평면을 촬영한 카메라(100) 영상과 윈도우 영상간의 변환 행렬을 계산하여 거리값을 추출한다.
거리값을 기초로 사용자 실루엣을 추출한다.(S130)
예를 들어 뮤지컬, 공연, 전시회에서 배경으로 투사되는 영상 및 이미지 앞에있는 사용자(배우 또는 관람객)가 촬영된 영상에서 추출된 거리값에서 사용자를 인식하고, 실루엣 추출이 필요한 부분의 사용자 움직임을 추적할 ROI공간을 정의한다. 정의된 ROI 공간에서 객체의 관절을 인식한 후 그레이스케일 영상으로 이진화 변환 하여 특정 임계값을 기준으로 영상이 투영된 벽과 사용자의 영역을 나누어 분리 추적한다. 사용자의 움직임 및 자세에 따라 불안정적으로 추출되는 관절 정보를 연속 프레임 정보 기반으로 보정할 수 있다. 불규칙한 형태의 사용자실루엣 영역을 보정하는 것은 촬영된 영상 정보에서 추출해야 하는 목표 인체 데이터와 비슷한 거리값을 갖는 주변 객체에서 추출된 정보의 혼재로 사용자 실루엣 정보의 정확성이 떨어질 수 있으므로, 목표 데이터만 선별하는 Post-processing 작업이 필요하다. 분리 추적된 영상에서 실루엣 및 관절(Skeleton) 구조 추출을 수행한다. ROI 공간을 정의하여 실루엣 및 관절(Skeleton) 구조를 추출하는 과정은 이하 도 4를 통해 설명한다. 또, 특정 임계값을 지정하고, 영상이 투영된 벽과 사용자의 영역을 근거리 및 원거리 영역으로 나누어 분리 추적하는 것은 이하 도 5를 통해 설명한다.
이하 도 4를 참조하면 뮤지컬, 공연, 전시회에서 배경으로 투사되는 영상 및 이미지 앞에 있는 사용자(배우 또는 관람객)가 촬영된 영상에서의 거리값을 통해 실루엣 및 관절(Skeleton) 구조를 추출하는 과정을 알 수 있다. 사용자의 포즈를 바탕으로 관절(Skeleton) 포인트를 설정하고, 선으로 연결하여 관절(Skeleton) 구조를 추출한다.
이하 도 5를 참조하면 뮤지컬, 공연, 전시회에서 배경으로 투사되는 영상 및 이미지 앞에 있는 사용자(배우 또는 관람객)가 촬영된 영상에서 사용자 움직임을 추적할 ROI공간을 정의하고, 객체의 관절을 인식한 후, 그레이스케일 영상으로 이진화 변환 하여 특정 임계값을 적용 하였을 때, 프레임 내에서 객체의 형태가 제거되는 것을 확인 할 수 있다.
학습모델에 입력하여 실루엣보정을 한다.(S140)
추출된 실루엣이 포함된 영상을 학습모델(제스처인식모델)에 입력하여 제스처정보에 대해 출력을 받는다. 출력된 제스처정보를 텐서플로우모델에 입력하여 어떤 제스처타입인지 도출하고, 도출된 정보를 종합하여 실루엣을 보정한다. 촬영된 영상 내에 다중 인물이 있는 경우 실루엣을 추출하는 것은 이하 도 6을 통해 설명한다.
도 6을 참조하면 촬영된 영상내에 다중 인물의 객체를 추적하고 ROI 공간을 정의하여 실루엣을 추출한다. 이 때, ROI 공간에서 인체 데이터와 비슷한 거리값에 실루엣을 추출한다. 추출된 실루엣에서 객체의 관절을 인식한 후, 그레이스케일 영상으로 이진화 변환 하여 특정 임계값을 적용 하였을 때, 다중 인물의 형태가 제거된다.
본 발명의 추가 실시예로 다중 인물의 객체를 추적하여 제거할 때, 지정하여 선택된 객체만 제거할 수 있다.
거리값과 실루엣을 고려하여 마스킹이미지를 생성한다.(S150)
프로젝터(300) 영상이 투사되고 있는 스크린을 촬영하여 앞에 있는 사용자의 움직임을 트레킹하여 거리값을 추출하고, 거리값을 기초로 실루엣을 추출 후 보정하여 실루엣의 외형을 따라서 마스킹이미지를 생성한다.
송출할 영상에 마스킹이미지를 오버레이하여 송출한다.(S160)
기존의 영상에서 실루엣의 외형을 따라서 잘라낸 마스킹이미지를 기존의 영상 위에 오버레이하여 영상을 스크린으로 송출한다. 송출된 영상에서 사용자가 위치한 부분이 마스킹이미지가 위치하기 때문에 영상이 송출되는 스크린 앞에 위치한 사용자의 식별이 가능하다.
본 발명의 추가 실시예로 뮤지컬, 공연, 전시회에서 배경으로 투사되는 영상 및 이미지 앞에 공연 또는 전시에 사용되는 소품이 위치하였을 때, 소품의 실루엣 정보를 추출하여 마스킹이미지를 생성하고, 송출할 영상에 마스킹이미지를 오버레이하여 송출 할 수 있다.
본 발명의 추가 실시예로 프로젝터에서 영상이 송출되는 스크린 앞에 위치한 객체(사람 또는 사물)에 마스킹이미지를 생성하고, 송출할 영상에 마스킹이미지를 오버레이하여 송출 할 때, 마스킹이미지를 제거하여 송출되는 영상에 객체가 가려지게 함으로써 객체의 나타남과 사라짐을 임의로 조절할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 카메라 200: 제어모듈
300: 프로젝터

Claims (9)

  1. 제어모듈에 의해서 수행되는, 프로젝션 영상 내의 사용자와의 간섭을 제거하기 위한 이미지처리 방법에 있어서,
    (a) 카메라를 통하여 전방을 촬영하고, 사용자가 위치한 영역을 인식하여 상기 사용자와 상기 카메라 간의 거리값을 산출하는 단계;
    (b) 상기 거리값과 상기 카메라를 통하여 촬영한 상기 영상으로부터 상기 사용자의 실루엣을 추출하는 단계;
    (c) 상기 거리값과 상기 실루엣을 기초로 마스킹이미지를 생성하는 단계; 및
    (d) 상기 마스킹이미지를 투사할 영상에 오버랩하여, 프로젝터를 통해 영상을 투사하는 단계;
    를 포함하는 것인,
    제어모듈에 의해서 수행되는, 프로젝션 영상 내의 사용자와의 간섭을 제거하기 위한 이미지처리 방법.
  2. 제 1 항에 있어서,
    상기 (a)단계는
    상기 영상에서 객체가 상기 카메라로부터 가장 가까운 위치와 가장 먼 위치에서의 평면을 정의하고, 상기 피사체와의 거리 사이에 있는 각각의 평면을 촬영한 상기 카메라 영상과 윈도우 영상간의 변환 행렬을 계산하여 산출하는 것인,
    제어모듈에 의해서 수행되는, 프로젝션 영상 내의 사용자와의 간섭을 제거하기 위한 이미지처리 방법.
  3. 제 1 항에 있어서,
    상기 (b)단계는
    (b-1) 사용자에 대응하는 객체를 인식하는 단계;
    (b-2) 상기 객체 주변의 ROI 공간을 정의하는 단계;
    (b-3) 상기 ROI 공간에서 상기 관절을 인식하는 단계; 및
    (b-4) 상기 관절을 인식한 후 그레이스케일 영상으로 이진화 변환 하여 특정 임계값을 기준으로, 상기 영상이 투영된 벽과 상기 사용자의 영역을 나누는 단계;를 포함하는 것인,
    제어모듈에 의해서 수행되는, 프로젝션 영상 내의 사용자와의 간섭을 제거하기 위한 이미지처리 방법.
  4. 제 3 항에 있어서
    상기 ROI 공간은
    상기 카메라가 촬영한 영상에서 상기 실루엣을 추출하기 위해 필요한 영역인 것인,
    제어모듈에 의해서 수행되는, 프로젝션 영상 내의 사용자와의 간섭을 제거하기 위한 이미지처리 방법.
  5. 제 3 항에 있어서,
    상기 사용자의 움직임 및 자세에 따라 추출되는 상기 관절 정보를 연속 프레임 정보를 기반으로 보정하는 것인,
    제어모듈에 의해서 수행되는, 프로젝션 영상 내의 사용자와의 간섭을 제거하기 위한 이미지처리 방법.
  6. 제 1 항에 있어서,
    상기 (c)단계 이전에
    상기 실루엣이 포함된 상기 영상을 제스처인식학습모델에 입력하여 제스처인식정보에 대해 출력을 받고, 출력된 상기 제스처인식정보를 텐서플로우모델(Tensor Flow Model)에 입력하여 제스처타입정보를 출력하고, 출력된 제스처타입정보를 종합하여 실루엣을 보정하는 단계를 포함하는 것인,
    제어모듈에 의해서 수행되는, 프로젝션 영상 내의 사용자와의 간섭을 제거하기 위한 이미지처리 방법.
  7. 제 1 항에 있어서,
    상기 (c)단계는
    상기 거리값을 기초로 상기 실루엣을 추출 후 보정하여 상기 실루엣의 외형을 따라서 마스킹이미지를 생성하는 것인,
    제어모듈에 의해서 수행되는, 프로젝션 영상 내의 사용자와의 간섭을 제거하기 위한 이미지처리 방법.
  8. 제 1 항에 있어서,
    상기 (d)단계는
    상기 마스킹이미지를 상기 사용자가 위치한 부분의 상기 거리값 정보를 기반으로 해당 깊이에 맞는 변환행렬을 적용하여 생성하고,
    상기 영상에서 상기 실루엣의 외형을 따라서 잘라낸 상기 마스킹이미지를 기존의 상기 영상 위에 오버레이하여 영상을 상기 스크린으로 송출하는 것인,
    제어모듈에 의해서 수행되는, 프로젝션 영상 내의 사용자와의 간섭을 제거하기 위한 이미지처리 방법.
  9. 제어모듈에 의해서 수행되는, 프로젝션 영상 내의 사용자와의 간섭을 제거하기 위한 이미지처리 방법에 있어서
    제어모듈에 의해서 수행되는, 프로젝션 영상 내의 사용자와의 간섭을 제거하기 위한 이미지처리 방법을 수행하기 위한 프로그램이 저장된 메모리; 및
    상기 프로그램을 실행하기 위한 프로세서;를 포함하며,
    상기 프로세서는, 상기 프로그램의 실행에 따라 상기 방법을 수행하며,
    상기 방법은
    (a) 카메라를 통하여 전방을 촬영하고, 사용자가 위치한 영역을 인식하여 상기 사용자와 상기 카메라 간의 거리값을 산출하는 단계;
    (b) 상기 거리값과 상기 카메라를 통하여 촬영한 상기 영상으로부터 상기 사용자의 실루엣을 추출하는 단계;
    (c) 상기 거리값과 상기 실루엣을 기초로 마스킹이미지를 생성하는 단계; 및
    (d) 상기 마스킹이미지를 투사할 영상에 오버랩하여, 프로젝터를 통해 영상을 투사하는 단계;
    를 포함하는 것인,
    제어모듈에 의해서 수행되는, 프로젝션 영상 내의 사용자와의 간섭을 제거하기 위한 이미지처리 장치.
KR1020210169120A 2021-11-30 2021-11-30 Xr 환경 구축을 위한 다중 프로젝션 시스템에서의 roi 추적 및 최적화 기술 KR102630904B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210169120A KR102630904B1 (ko) 2021-11-30 2021-11-30 Xr 환경 구축을 위한 다중 프로젝션 시스템에서의 roi 추적 및 최적화 기술
PCT/KR2022/019150 WO2023101383A1 (ko) 2021-11-30 2022-11-30 확장현실 환경 구축을 위한 다중 프로젝션 시스템에서의 관심영역 추적 및 최적화 기술

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210169120A KR102630904B1 (ko) 2021-11-30 2021-11-30 Xr 환경 구축을 위한 다중 프로젝션 시스템에서의 roi 추적 및 최적화 기술

Publications (2)

Publication Number Publication Date
KR20230081243A true KR20230081243A (ko) 2023-06-07
KR102630904B1 KR102630904B1 (ko) 2024-01-31

Family

ID=86612653

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210169120A KR102630904B1 (ko) 2021-11-30 2021-11-30 Xr 환경 구축을 위한 다중 프로젝션 시스템에서의 roi 추적 및 최적화 기술

Country Status (2)

Country Link
KR (1) KR102630904B1 (ko)
WO (1) WO2023101383A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101405439B1 (ko) * 2013-01-03 2014-06-11 양승철 동작인식 배경영상 제공시스템, 동작인식 배경영상 제공방법 및 그 기록매체
KR20170032403A (ko) * 2014-09-18 2017-03-22 인텔 코포레이션 사발형 이미징 시스템에서의 물체 추적

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101616926B1 (ko) * 2009-09-22 2016-05-02 삼성전자주식회사 영상 처리 장치 및 방법
US10671842B2 (en) * 2018-01-29 2020-06-02 Google Llc Methods of determining handedness for virtual controllers

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101405439B1 (ko) * 2013-01-03 2014-06-11 양승철 동작인식 배경영상 제공시스템, 동작인식 배경영상 제공방법 및 그 기록매체
KR20170032403A (ko) * 2014-09-18 2017-03-22 인텔 코포레이션 사발형 이미징 시스템에서의 물체 추적

Also Published As

Publication number Publication date
KR102630904B1 (ko) 2024-01-31
WO2023101383A1 (ko) 2023-06-08

Similar Documents

Publication Publication Date Title
US11557152B2 (en) Automated sign language translation and communication using multiple input and output modalities
US10559062B2 (en) Method for automatic facial impression transformation, recording medium and device for performing the method
CN111080759B (zh) 一种分镜效果的实现方法、装置及相关产品
KR102464944B1 (ko) 카메라 워크를 재현하는 방법 및 장치
Barandiaran et al. Real-time optical markerless tracking for augmented reality applications
CN106997618A (zh) 一种虚拟现实与真实场景融合的方法
KR102152436B1 (ko) 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법
CN106648098B (zh) 一种自定义场景的ar投影方法及系统
US11854228B2 (en) Methods and systems for volumetric modeling independent of depth data
EP4226334A1 (en) Network-based spatial computing for extended reality (xr) applications
US20210241474A1 (en) System for image compositing including training with custom synthetic data
KR20180032059A (ko) 3차원 컨텐츠 제공 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
CN103500471A (zh) 实现高分辨率增强现实系统的方法
CN106971426A (zh) 一种虚拟现实与真实场景融合的方法
CN107016730A (zh) 一种虚拟现实与真实场景融合的装置
CN106981100A (zh) 一种虚拟现实与真实场景融合的装置
CN108320331B (zh) 一种生成用户场景的增强现实视频信息的方法与设备
KR102187926B1 (ko) 볼류메트릭 비디오 생성 방법, 장치 및 컴퓨터 판독가능 매체
KR102630904B1 (ko) Xr 환경 구축을 위한 다중 프로젝션 시스템에서의 roi 추적 및 최적화 기술
WO2023151271A1 (zh) 模型展示方法、装置、电子设备及存储介质
CN104780341B (zh) 一种信息处理方法以及信息处理装置
KR102404130B1 (ko) 텔레 프레젠스 영상 송신 장치, 텔레 프레젠스 영상 수신 장치 및 텔레 프레젠스 영상 제공 시스템
US20200265622A1 (en) Forming seam to join images
CN112312041A (zh) 基于拍摄的图像校正方法、装置、电子设备及存储介质
CN113873175B (zh) 视频播放方法、装置和存储介质及电子设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right