KR102539827B1 - 3d ar 객체 영상 실시간 획득 시스템 및 이의 운용 방법 - Google Patents

3d ar 객체 영상 실시간 획득 시스템 및 이의 운용 방법 Download PDF

Info

Publication number
KR102539827B1
KR102539827B1 KR1020210144555A KR20210144555A KR102539827B1 KR 102539827 B1 KR102539827 B1 KR 102539827B1 KR 1020210144555 A KR1020210144555 A KR 1020210144555A KR 20210144555 A KR20210144555 A KR 20210144555A KR 102539827 B1 KR102539827 B1 KR 102539827B1
Authority
KR
South Korea
Prior art keywords
depth
rgb
partial data
object image
image
Prior art date
Application number
KR1020210144555A
Other languages
English (en)
Other versions
KR20230060596A (ko
Inventor
장준환
박우출
양진욱
윤상필
최민수
이준석
송수호
구본재
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020210144555A priority Critical patent/KR102539827B1/ko
Priority to PCT/KR2021/017527 priority patent/WO2023074999A1/ko
Publication of KR20230060596A publication Critical patent/KR20230060596A/ko
Application granted granted Critical
Publication of KR102539827B1 publication Critical patent/KR102539827B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 상기 3D AR 객체 이미지 수집 장치가, 복수의 카메라로부터 피사체에 대한 RGB 이미지 및 Depth 이미지를 획득하는 단계, 상기 피사체 중 적어도 일부 객체에 대응하는 RGB 부분 데이터 및 상기 적어도 일부 객체 대응하는 Depth 부분 데이터를 상기 RGB 이미지 및 상기 Depth 이미지에서 필터링하는 단계, 상기 필터링된 상기 RGB 부분 데이터와 상기 Depth 부분 데이터를 기반으로 3D 포인트 클라우드 데이터를 생성하여 저장하는 단계를 포함하는 3D AR 객체 영상 실시간 획득을 지원하는 3D AR 객체 이미지 수집 장치를 운용하는 방법 및 이 방법이 적용되는 시스템을 개시한다.

Description

3D AR 객체 영상 실시간 획득 시스템 및 이의 운용 방법{Realtime collecting System for 3D Augmented Reality Object image and operating method thereof}
본 발명은 3D AR 객체 획득에 관한 것으로서, 더욱 상세하게는 실시간으로 3AR 객체 영상을 획득할 수 있도록 지원하는 3D AR 객체 영상 실시간 획득 시스템 및 이의 운용 방법에 관한 것이다.
가상현실(Virtual Reality: VR) 및 증강현실(Augmented Reality: AR)이 등장한 이후, 스마트폰 애플리케이션을 다양한 관심이 증가하는 가운데, 혼합현실(Mixed Reality: MR)이 다양한 분야 예컨대, 교육 및 상업적으로 활용되고 있다.
한편, 증강 현실의 경우, 카메라가 촬영한 영상을 기반으로 증강 이미지를 처리하기 때문에, 처리해야 할 데이터양이 매우 크다. 이에 따라, 증강 현실 기반의 컨텐츠를 구현하기 위해서는 높은 사양의 하드웨어 장치가 필요하거나 매우 제한적인 환경에서 증강 현실 컨텐츠를 구현해야 하기 때문에, 증강 현실 컨텐츠에 대한 이용이 높지 않은 문제가 있다. 또한, 종래 증강 현실 컨텐츠의 경우, 데이터 처리량이 크기 때문에, 증강 현실에 적용되는 컨텐츠의 실시간 성이 떨어지는 문제가 있다.
상술한 문제점을 해결하기 위하여, 본 발명은 특정 AR 객체 이미지를 실시간으로 획득할 수 있는 3D AR 객체 영상 실시간 획득 시스템 및 이의 운용 방법을 제공함에 있다.
한편, 이러한 본 발명의 목적은 상기의 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상술한 바와 같은 목적을 달성하기 위한 본 발명은 피사체, 상기 피사체에 대한 RGB 이미지 및 Depth 이미지를 각각 획득하는 복수의 카메라, 상기 복수의 카메라가 실시간으로 획득한 상기 RGB 이미지 및 상기 Depth 이미지에 대한 3D AR 객체 이미지를 생성하는 3D AR 객체 이미지 수집 장치를 포함하고, 상기 3D AR 객체 이미지 수집 장치는 상기 피사체 중 적어도 일부 객체에 대응하는 RGB 부분 데이터 및 상기 적어도 일부 객체 대응하는 Depth 부분 데이터를 상기 RGB 이미지 및 상기 Depth 이미지에서 필터링하고, 필터링된 상기 RGB 부분 데이터와 상기 Depth 부분 데이터를 기반으로 3D 포인트 클라우드 데이터를 생성하여 저장하는 것을 특징으로 하는 3D AR 객체 영상 실시간 획득 시스템을 개시한다.
여기서, 상기 3D AR 객체 이미지 수집 장치는 상기 복수의 카메라 연결을 지원하고, 상기 복수의 카메라들의 연결 상태 및 상기 복수의 카메라들의 온-오프 상태를 확인하고 상기 복수의 카메라들의 구동을 제어하는 카메라 인터페이스, 상기 복수의 카메라들로부터 상기 RGB 이미지 및 상기 Depth 이미지를 실시간으로 획득하는 데이터 획득 모듈을 포함하는 것을 특징으로 한다.
특히, 상기 카메라 인터페이스는 상기 복수의 카메라들 중 상기 RGB 이미지 또는 상기 Depth 이미지를 제공하는 카메라의 비활성화 또는 비연결 상태를 나타내는 에러 정보를 출력하는 것을 특징으로 한다.
한편, 상기 3D AR 객체 이미지 수집 장치는 상기 RGB 이미지에서 선택된 특정 객체에 대응하는 상기 RGB 부분 데이터 및 상기 특정 객체 대응하는 상기 Depth 부분 데이터를 필터링하거나, 상기 Depth 이미지 중 특정 깊이에 위치한 객체에 해당하는 상기 Depth 부분 데이터 및 상기 특정 깊이의 객체 해당하는 상기 RGB 부분 데이터를 필터링하는 보정 모듈을 포함할 수 있다.
추가로, 상기 3D AR 객체 이미지 수집 장치는 상기 Depth 부분 데이터의 해상도를 기준으로 상기 RGB 부분 데이터의 해상도를 변환하여 상기 Depth 부분 데이터의 해상도와 상기 RGB 부분 데이터의 해상도를 일치시키는 데이터 싱크 모듈을 포함할 수 있다.
본 발명의 실시 예에 따른, 3D AR 객체 영상 실시간 획득을 지원하는 3D AR 객체 이미지 수집 장치를 운용하는 방법은, 상기 3D AR 객체 이미지 수집 장치가, 복수의 카메라로부터 피사체에 대한 RGB 이미지 및 Depth 이미지를 획득하는 단계, 상기 피사체 중 적어도 일부 객체에 대응하는 RGB 부분 데이터 및 상기 적어도 일부 객체 대응하는 Depth 부분 데이터를 상기 RGB 이미지 및 상기 Depth 이미지에서 필터링하는 단계, 상기 필터링된 상기 RGB 부분 데이터와 상기 Depth 부분 데이터를 기반으로 3D 포인트 클라우드 데이터를 생성하여 저장하는 단계를 포함하는 것을 특징으로 한다.
상기 방법은, 상기 복수의 카메라들 중 상기 RGB 이미지 또는 상기 Depth 이미지를 제공하는 카메라의 비활성화 또는 비연결 상태를 확인하는 단계, 상기 카메라의 비활성화 또는 비연결 상태에 대응하는 에러 정보를 출력하는 단계를 더 포함할 수 있다.
한편, 상기 필터링하는 단계는 상기 RGB 이미지에서 선택된 특정 객체에 대응하는 상기 RGB 부분 데이터 및 상기 특정 객체 대응하는 상기 Depth 부분 데이터를 필터링하는 단계 또는 상기 Depth 이미지 중 특정 깊이에 위치한 객체에 해당하는 상기 Depth 부분 데이터 및 상기 특정 깊이의 객체 해당하는 상기 RGB 부분 데이터를 필터링하는 단계를 포함하는 포함할 수 있다.
이 경우, 상기 방법은, 상기 Depth 부분 데이터의 해상도를 기준으로 상기 RGB 부분 데이터의 해상도를 변환하여 상기 Depth 부분 데이터의 해상도와 상기 RGB 부분 데이터의 해상도를 일치시키는 단계를 더 포함할 수 있다.
본 발명에 따르면, 본 발명은 색 데이터와 깊이 데이터를 조합하여 3D 객체를 손쉽게 생성할 수 있도록 지원한다.
또한, 본 발명은 물리적인 제약을 해소하고 부가적인 다양한 서비스 예컨대, E-Sports 중계, 홈 피트니스 및 환자 관리, 스마트 팩토리 운용 등에 적용할 수 있는 실시간 3D AR 객체를 제공할 수 있다.
아울러, 상술한 효과 이외의 다양한 효과들이 후술될 본 발명의 실시 예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 수 있다.
도 1은 본 발명의 실시 예에 따른 3D AR 객체 이미지를 실시간으로 획득할 수 있는 3D AR 객체 이미지 수집 환경의 한 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 3D AR 객체 이미지 수집 장치 중 카메라 인터페이스의 한 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 3D AR 객체 이미지 수집 장치 중 데이터 획득 모듈과 보정 모듈 간의 데이터 변화의 한 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 3D AR 객체 이미지 수집 장치 중 데이터 싱크 모듈 구성의 한 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 3D AR 객체 이미지 수집 장치 중 데이터 생성 모듈의 한 예를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 3D AR 객체 이미지 실시간 획득 방법의 한 예를 나타낸 도면이다.
본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.
다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "부", "기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
상술한 용어들 이외에, 이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.
이하, 각 도면들을 통하여, 본 발명을 구성하는 시스템과 장치 및 방법 등에 대해서 보다 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 3D AR 객체 이미지를 실시간으로 획득할 수 있는 3D AR 객체 이미지 수집 환경의 한 예를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 3D AR 객체 이미지 수집 환경(10)은 피사체(11), 복수의 카메라(100) 및 3D AR 객체 이미지 수집 장치(200)를 포함할 수 있다. 여기서, 상기 복수의 카메라(100)는 상기 3D AR 객체 이미지 수집 장치(200)의 한 구성으로 포함될 수도 있다.
상기 피사체(11)는 3D AR 객체로 만들기 위한 목표가 될 수 있다. 예컨대, 상기 피사체(11)는 인물, 동물, 물건, 도구, 배경 등 다양한 타겟을 포함할 수 있다. 또는 피사체(11)는 복수의 카메라(100)에 의해 촬영되는 촬영 환경 중 적어도 일부를 포함할 수 있다.
상기 복수의 카메라(100)는 피사체(11)를 촬영할 수 있는 위치에 배치될 수 있다. 상기 복수의 카메라(100)는 적어도 피사체(11)와 관련한 RGB 이미지를 획득할 수 있는 적어도 하나의 RGB 카메라, 피사체(11)의 깊이 데이터를 획득할 수 있는 적어도 하나의 Depth 카메라를 포함할 수 있다. 상기 적어도 하나의 RGB 카메라와 상기 적어도 하나의 Depth 카메라는 동일한 피사체(11)를 촬영할 수 있도록 배치되며 촬영 거리와 촬영 각도가 지정된 범위 이내에서 동일 또는 유사하게 형성될 수 있다.
상기 3D AR 객체 이미지 수집 장치(200)는 상기 복수의 카메라(100)가 획득한 RGB 이미지 및 Depth 이미지를 실시간으로 획득하고, 획득된 실시간 이미지에 대한 타겟 객체에 대한 필터링을 수행한 후, 데이터 싱크를 거쳐 포인트 클라우드 데이터를 생성하여 제공할 수 있다. 이와 관련하여, 상기 3D AR 객체 이미지 수집 장치(200)는 카메라 인터페이스(210), 데이터 획득 모듈(220), 보정 모듈(230), 데이터 싱크 모듈(240) 및 데이터 생성 모듈(250)을 포함할 수 있다.
상술한 본 발명의 3D AR 객체 이미지 수집 환경(10)에서, 복수의 카메라(100)는 3D AR 객체 이미지 수집 장치(200)의 제어 또는 상기 3D AR 객체 이미지 수집 장치(200)를 제어하는 사용자의 조작에 대응하여 활성화되고, 활성화된 복수의 카메라(100)는 피사체(11)에 대한 영상을 수집하여 3D AR 객체 이미지 수집 장치(200)에 제공할 수 있다.
도 2는 본 발명의 실시 예에 따른 3D AR 객체 이미지 수집 장치 중 카메라 인터페이스의 한 예를 나타낸 도면이다.
도 2를 참조하면, 상기 카메라 인터페이스(210)는 카메라 연결부(211), 구동부(212) 및 에러 핸들링부(213)를 포함할 수 있다.
상기 카메라 연결부(211)는 복수의 카메라(100)와 3D AR 객체 이미지 수집 장치(200)를 연결하는 구성을 포함할 수 있다. 예컨대, 상기 카메라 연결부(211)는 복수의 카메라(100)에 형성된 커넥터에 삽입되는 유선 케이블 및 상기 유선 케이블과 연결되는 연결 핀 또는 장치 커넥터를 포함할 수 있다. 또는, 상기 복수의 카메라(100)가 무선 통신을 통한 이미지 전달을 지원하도록 구성되는 경우 상기 카메라 연결부(211)는 복수의 카메라(100)와 무선 통신 채널을 형성할 수 있는 무선 통신 인터페이스를 포함할 수 있다. 즉, 상기 카메라 연결부(211)는 적어도 하나의 카메라와 연결될 수 있는 유선 통신 인터페이스(예: 케이블을 통한 연결) 또는 적어도 하나의 카메라와 무선 통신 채널을 형성할 수 있는 무선 통신 인터페이스를 포함할 수 있다. 상기 복수의 카메라(100)가 별도의 배터리를 포함하지 않는 경우, 상기 카메라 연결부(211)는 상기 복수의 카메라(100)에 전원을 공급할 수 있는 배선을 더 포함할 수 있다.
상기 구동부(212)는 사용되는 카메라의 수, 세팅 값 설정 및 On/Off 제어를 담당할 수 있다. 이와 관련하여, 상기 구동부(212)는 상기 카메라 연결부(211)를 통해 복수의 카메라(100)가 연결되면, 연결된 복수의 카메라(100)와 초기 데이터 송수신을 통해 복수의 카메라(100)의 식별 정보, 각각의 카메라의 종류와 스펙 정보를 수집할 수 있다. 또한, 상기 구동부(212)는 복수의 카메라(100) 구동을 위한 어플리케이션을 구동할 수 있다. 상기 구동부(212)는 사전 정의된 설정에 따라 복수의 카메라(100)의 초기 설정을 수행하고, 사용자 조작에 따라 각각의 카메라의 세팅 값 조정을 수행할 수 있다. 상기 구동부(212)는 사용자 조작 또는 특정 어플리케이션(예: 3D AR 객체 이미지 제공 기능을 지원하는 어플리케이션) 실행에 따라 복수의 카메라(100)의 턴-온을 제어하고, 해당 어플리케이션 종료에 대응하여 복수의 카메라(100)의 턴-오프 제어를 수행할 수 있다.
상기 에러 핸들링부(213)는 상기 복수의 카메라(100)와의 물리적인 연결 또는 세팅 값 설정에서 발생하는 Error에 대한 처리를 수행할 수 있다. 이와 관련하여, 상기 카메라 인터페이스(210)는 복수의 카메라(100) 연결과 관련한 정보를 표시할 수 있는 디스플레이 또는 오디오 장치를 포함할 수 있다. 상기 에러 핸들링부(213)는 복수의 카메라(100)들의 연결에 따라 연결된 복수의 카메라(100) 리스트를 출력하고, 복수의 카메라(100) 각각의 상태(예: 초기화 완료, 복수의 카메라(100)의 설정 값들)를 출력할 수 있다. 이 과정에서, 에러 핸들링부(213)는 복수의 카메라(100) 중 정상적으로 동작하지 않은 카메라에 대한 식별 정보 에러 정보를 함께 출력할 수 있다. 에러 정보에는 에러가 발생한 카메라의 문제점이 포함될 수 있다.
도 3은 본 발명의 실시 예에 따른 3D AR 객체 이미지 수집 장치 중 데이터 획득 모듈과 보정 모듈 간의 데이터 변화의 한 예를 나타낸 도면이다.
도 3을 참조하면, 데이터 획득 모듈(220)은 사용자 조작에 따라 또는 특정 어플리케이션 실행에 따라 복수의 카메라(100) 중 적어도 RGB 이미지 및 Depth 이미지를 획득을 수행할 수 있다. 이 과정에서 데이터 획득 모듈(220)은 카메라 인터페이스(210)를 통해 연결되고 활성화된 복수의 카메라(100)에 대한 정보를 확인하고, 복수의 카메라(100)에 RGB 이미지를 획득할 수 있는 카메라 및 Depth 이미지를 획득할 수 있는 카메라가 있는지 확인할 수 있다. 상기 데이터 획득 모듈(220)은 RGB 이미지 및 Depth 이미지를 각각 획득할 수 있는 카메라가 상기 복수의 카메라(100)에 포함되어 있지 않은 경우, 에러 메시지를 카메라 인터페이스(210)의 에러 핸들링부(213)에 전달할 수 있다. 상기 에러 메시지를 수신한 에러 핸들링부(213)는 현재 연결되어 있지 않은 종류(예: RGB 카메라 또는 Depth 카메라)의 카메라의 연결 또는 턴-온을 요청하는 에러 정보를 출력할 수 있다. RGB 카메라 및 Depth 카메라가 모두 연결되고 정상적으로 RGB 이미지 및 Depth 이미지가 전달되면, 상기 데이터 획득 모듈(220)은 획득된 RGB 이미지 및 Depth 이미지 보정 모듈(230)에 전달할 수 있다. 이때, 상기 데이터 획득 모듈(220)이 전달하는 RGB 이미지 및 Depth 이미지는 피사체(11)를 포함하는 촬영 환경 전체에 대한 이미지를 포함할 수 있다.
상기 보정 모듈(230)은 데이터 획득 모듈(220)이 전달한 RGB 이미지 및 Depth 이미지를 기반으로, 원하는 데이터만을 획득하는 필터링을 수행할 수 있다. 이 과정에서 보정 모듈(230)은 Depth 값을 활용하여 일정 깊이에 있는 피사체들을 필터링할 수 있다. 상기 보정 모듈(230)은 일정 깊이에 있는 피사체에 대한 RGB 이미지를 별도 추출할 수 있다. 이와 관련하여, 보정 모듈(230)은 RGB 이미지에서 경계선을 기준으로 객체 구분을 수행하고, Depth 정보를 기반으로 일정 깊이의 객체를 선택적으로 필터링할 수 있다. 또는, 상기 보정 모듈(230)은 RGB 이미지 중 특정 패턴을 포함하는 객체(예: 사람의 얼굴 패턴 또는 특정 동물 패턴 등)에 대한 Depth 정보를 기반으로 해당 객체 대한 필터링을 수행할 수 있다. 즉, 보정 모듈(230)은 피사체(11) 중 적어도 일부 객체에 대한 RGB 데이터 및 Depth 데이터만을 필터링하여 획득할 수 있다.
도 4는 본 발명의 실시 예에 따른 3D AR 객체 이미지 수집 장치 중 데이터 싱크 모듈 구성의 한 예를 나타낸 도면이다.
도 4를 참조하면, 상기 데이터 싱크 모듈(240)은 인포 핸들러(241), 픽셀 매칭부(242) 및 제1 데이터 버퍼(243)를 포함할 수 있다.
상기 인포 핸들러(241)는 보정 모듈(230)로부터 전달된 데이터에서 Depth 데이터와 RGB 데이터를 획득할 수 있다. 이 과정에서 인포 핸들러(241)는 보정 모듈(230)로부터 Depth 데이터의 해상도 및 RGB 데이터의 해상도 정보를 함께 획득할 수 있다. 또는, 인포 핸들러(241)는 카메라 인터페이스(210)로부터 RGB 이미지를 제공한 RGB 카메라의 해상도, Depth 이미지를 제공한 Depth 카메라의 해상도 정보를 획득할 수도 있다.
상기 픽셀 매칭부(242)(Pixel Matcher)는 RGB 데이터의 해상도를 변경할 수 있다. 즉, 상기 픽셀 매칭부(242)는 포인트 클라우드 생성을 위해 각각 다른 해상도를 가진 RGB 정보(해상도:1920*1080)와 깊이 정보(해상도:1024*1024) 중 RGB 정보의 크기를 깊이 정보에 맞게 변환할 수 있다. 상기 픽셀 매칭부(242)는 변경된 정보를 상기 제1 데이터 버퍼(243)에 저장할 수 있다.
상기 제1 데이터 버퍼(243)는 상기 픽셀 매칭부(242)가 매칭한 RGB 데이터 및 Depth 데이터를 저장할 수 있다. 여기서 저장된 RGB 데이터는 Depth 데이터의 해상도에 맞게 변환된 정보가 될 수 있다.
도 5는 본 발명의 실시 예에 따른 3D AR 객체 이미지 수집 장치 중 데이터 생성 모듈의 한 예를 나타낸 도면이다.
도 5를 참조하면, 본 발명의 데이터 생성 모듈(250)은 제2 데이터 버퍼(251), 포인트 클라우드 생성기(252), 포인트 클라우드 데이터 버퍼(253), 비디오 출력 생성기(254), 데이터 전송기(255) 및 PLY 파일 매니저(256)를 포함할 수 있다.
상기 제2 데이터 버퍼(251)는 상기 데이터 싱크 모듈(240)에 의해 Depth 데이터를 기반으로 변환된 RGB 데이터 및 상기 Depth 데이터를 제1 데이터 버퍼(243)로부터 전달 받아 임시 저장할 수 있다. 상기 제2 데이터 버퍼(251)는 저장된 데이터들(예: 해상도가 변환된 RGB 데이터 및 Depth 데이터)을 포인트 클라우드 생성기(252)에 전달할 수 있다. 이때, 제2 데이터 버퍼(251)는 포인트 클라우드 생성을 위하여, 제1 데이터 버퍼(243)에서 전달받은 데이터들을 지정된 데이터 포맷 형식(예: 포인트 클라우드 생성을 위해 정의된 포맷 형식 또는 해당 데이터의 사용 목적에 맞는 포맷 형식)으로 변환하여 저장할 수 있다.
상기 포인트 클라우드 생성기(252)는 상기 제2 데이터 버퍼(251)에 저장된 데이터를 기반으로 Point Cloud Data를 생성할 수 있다. 예컨대, 포인트 클라우드 생성기(252)는 제2 데이터 버퍼(251)에 저장된 데이터들에 대해 3D 공간에서 좌표를 할당하고, 할당된 좌표들에 대한 포인트 모음을 처리할 수 있다. 여기서, 포인트 클라우드 생성기(252)는 3D 데이터 구축을 위하여 포인트 클라우드에 오버레이 과정을 수행할 수 있다.
상기 포인트 클라우드 데이터 버퍼(253)는 상기 포인트 클라우드 생성기(252)에 의해 생성된 포인트 클라우드 데이터를 저장할 수 있다. 상기 포인트 클라우드 데이터 버퍼(253)에 저장된 데이터는 3D AR 객체 이미지에 대응하는 각각의 좌표 모음들(또는 포인트들)을 포함할 수 있다.
상기 비디오 출력 생성기(254)는 상기 포인트 클라우드 데이터 버퍼(253)에 저장된 포인트 클라우드 데이터에 대응하는 비디오 파일을 생성하고, 생성된 비디오 파일을 저장하거나 지정된 장치에 전달할 수 있다. 상기 비디오 출력 생성기(254)에 의해 생성된 비디오는 상기 3D AR 객체 이미지의 실시간 이미지를 포함할 수 있다. 특히, 상기 비디오 출력 생성기(254)가 생성한 비디오 파일은 피사체(11)를 기준으로 일부 객체에 대한 3D AR 객체 이미지의 실시간 비디오 영상을 포함할 수 있다.
상기 데이터 전송기(255)는 상기 포인트 클라우드 데이터 버퍼(253)에 저장된 포인트 클라우드 데이터를 지정된 장치로 전송할 수 있다. 예컨대, 3D AR 객체 이미지 지원 기능이 화상 회의 또는 게임 등의 프로그램을 기반으로 수행되는 경우, 상기 데이터 전송기(255)는 특정 객체에 대응하는 상기 포인트 클라우드 데이터를 해당 화상 회의나 게임을 수행하는 다른 전자 장치에 전달할 수 있다.
상기 PLY 파일 매니저(256)는 상기 포인트 클라우드 데이터를 기반으로 3D 폴리곤 파일을 생성할 수 있다. 상기 PLY 파일 매니저(256)는 상기 포인트 클라우드 데이터를 기반으로 피사체(11)의 적어도 일부 객체에 대응하는 다각형의 파일 형식을 정의할 수 있다. 이 과정에서 상기 PLY 파일 매니저(256)는 상기 피사체(11)의 적어도 일부에 해당하는 객체의 색상 및 투명도, 표면 법선, 텍스처 좌표 및 데이터 신뢰 값을 포함하여 다양한 속성을 저장할 수 있다. 즉, 상기 PLY 파일 매니저(256)는 상기 포인트 클라우드 데이터에 대응하는 PLY데이터 변환을 수행할 수 있다.
도 6은 본 발명의 실시 예에 따른 3D AR 객체 이미지 실시간 획득 방법의 한 예를 나타낸 도면이다.
도 6을 참조하면, 601 단계에서, 3D AR 객체 이미지 수집 장치(200)는 RGB 카메라 및 깊이 카메라를 포함하는 복수의 카메라(100)를 활성화할 수 있다. 이 과정에서 3D AR 객체 이미지 수집 장치(200)는 사용자 조작 또는 3D AR 객체 이미지 지원 기능을 위해 설계된 어플리케이션 실행에 따라 상기 복수의 카메라(100)를 활성화할 수 있다.
603 단계에서, 상기 3D AR 객체 이미지 수집 장치(200)는 RGB 데이터 및 깊이 데이터를 실시간 획득할 수 있다. 이 동작에서, 상기 3D AR 객체 이미지 수집 장치(200)는 RGB 데이터 및 깊이 데이터에 대한 시간 정보도 함께 획득하여, 각 데이터들에 대한 시간 동기화를 유지할 수 있다.
605 단계에서, 상기 3D AR 객체 이미지 수집 장치(200)는 획득된 데이터들에 대한 필터링을 수행할 수 있다. 예컨대, 3D AR 객체 이미지 수집 장치(200)는 Depth 데이터를 기반으로 특정 깊이에 위치한 객체의 Depth 데이터 및 해당 깊이의 객체에 해당하는 RGB 데이터만을 필터링할 수 있다. 또는, 상기 3D AR 객체 이미지 수집 장치(200)는 RGB 이미지를 기준으로 특정 객체를 검출하고, 해당 객체에 대응하는 RGB 부분 데이터 및 해당 객체 대응하는 Depth 부분 데이터를 필터링할 수 있다. 상기 3D AR 객체 이미지 수집 장치(200)는 특정 객체 선택 이후에는, 실시간으로 획득되는 데이터들에 대하여 해당 객체에 대한 데이터들(예: RGB 부분 데이터 및 Depth 부분 데이터)을 필터링할 수 있다.
607 단계에서, 3D AR 객체 이미지 수집 장치(200)는 데이터 싱크를 처리할 수 있다. 예컨대, 상기 3D AR 객체 이미지 수집 장치(200)는 Depth 데이터의 해상도를 기반으로 RGB 데이터의 해상도 변환을 동기화할 수 있다. 즉, RGB 카메라가 획득한 RGB 이미지와 Depth 카메라가 획득한 Depth 이미지의 해상도는 가 카메라들의 특성에 따라 다를 수 있다. 이에 따라, 상기 3D AR 객체 이미지 수집 장치(200)는 Depth 데이터의 해상도를 기준으로 RGB 데이터의 해상도를 동기화시키는 변환 작업을 처리할 수 있다. 이때, 상기 3D AR 객체 이미지 수집 장치(200)는 필터링된 Depth 부분 데이터를 기준으로 필터링된 RGB 부분 데이터의 해상도 변환을 처리(동기화 또는 일치 작업을 처리)할 수 있다.
609 단계에서, 상기 3D AR 객체 이미지 수집 장치(200)는 포인트 클라우드 데이터 생성 및 저장을 수행할 수 있다. 이를 위하여, 3D AR 객체 이미지 수집 장치(200)는 포인트 클라우드 생성기(252)를 포함하며, 상기 포인트 클라우드 생성기(252)를 이용하여 상기 RGB 부분 데이터 및 Depth 부분 데이터를 3D 좌표들에 해당하는 포인트들로 변환하고, 변환된 포인트들의 모음 처리를 수행할 수 있다. 이 동작에서, 상기 포인트 클라우드 생성기(252)는 실시간으로 획득되는 RGB 부분 데이터 및 Depth 부분 데이터들에 대응하는 포인트 클라우드들의 오버레이를 수행하여 특정 파일(예: 비디오 파일 또는 PLY 파일)을 생성할 수도 있다.
이상에서 설명한 바와 같이, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안 되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다.
또한, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안 되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 통상의 기술자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 통상의 기술자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.
따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.
10: 3D AR 객체 이미지 수집 환경
100: 복수의 카메라
200: 3D AR 객체 이미지 수집 장치
210: 카메라 인터페이스
220: 데이터 획득 모듈
230: 보정 모듈
240: 데이터 싱크 모듈
250: 데이터 생성 모듈

Claims (9)

  1. 피사체;
    상기 피사체에 대한 RGB 이미지 및 Depth 이미지를 각각 획득하는 복수의 카메라;
    상기 복수의 카메라가 실시간으로 획득한 상기 RGB 이미지 및 상기 Depth 이미지에 대한 3D AR 객체 이미지를 생성하는 3D AR 객체 이미지 수집 장치;를 포함하고,
    상기 3D AR 객체 이미지 수집 장치는
    상기 피사체 중 적어도 일부 객체에 대응하는 RGB 부분 데이터 및 상기 적어도 일부 객체 대응하는 Depth 부분 데이터를 획득하여 필터링하고, 필터링된 상기 RGB 부분 데이터와 상기 Depth 부분 데이터를 기반으로 3D 포인트 클라우드 데이터를 생성하여 저장하는 것을 특징으로 하는 3D AR 객체 영상 실시간 획득 시스템.
  2. 제1항에 있어서,
    상기 3D AR 객체 이미지 수집 장치는
    상기 복수의 카메라 연결을 지원하고, 상기 복수의 카메라들의 연결 상태 및 상기 복수의 카메라들의 온-오프 상태를 확인하고 상기 복수의 카메라들의 구동을 제어하는 카메라 인터페이스;
    상기 복수의 카메라들로부터 상기 RGB 이미지 및 상기 Depth 이미지를 실시간으로 획득하는 데이터 획득 모듈;을 포함하는 것을 특징으로 하는 3D AR 객체 영상 실시간 획득 시스템.
  3. 제2항에 있어서,
    상기 카메라 인터페이스는
    상기 복수의 카메라들 중 상기 RGB 이미지 또는 상기 Depth 이미지를 제공하는 카메라의 비활성화 또는 비연결 상태를 나타내는 에러 정보를 출력하는 것을 특징으로 하는 3D AR 객체 영상 실시간 획득 시스템.
  4. 제1항에 있어서,
    상기 3D AR 객체 이미지 수집 장치는
    상기 RGB 이미지에서 선택된 특정 객체에 대응하는 상기 RGB 부분 데이터 및 상기 특정 객체 대응하는 상기 Depth 부분 데이터를 필터링하거나,
    상기 Depth 이미지 중 특정 깊이에 위치한 객체에 해당하는 상기 Depth 부분 데이터 및 상기 특정 깊이의 객체에 해당하는 상기 RGB 부분 데이터를 필터링하는 보정 모듈;을 포함하는 것을 특징으로 하는 3D AR 객체 영상 실시간 획득 시스템.
  5. 제4항에 있어서,
    상기 3D AR 객체 이미지 수집 장치는
    상기 Depth 부분 데이터의 해상도를 기준으로 상기 RGB 부분 데이터의 해상도를 변환하여 상기 Depth 부분 데이터의 해상도와 상기 RGB 부분 데이터의 해상도를 일치시키는 데이터 싱크 모듈;을 포함하는 것을 특징으로 하는 3D AR 객체 영상 실시간 획득 시스템.
  6. 3D AR 객체 영상 실시간 획득을 지원하는 3D AR 객체 이미지 수집 장치를 운용하는 방법에 있어서,
    상기 3D AR 객체 이미지 수집 장치가, 복수의 카메라로부터 피사체에 대한 RGB 이미지 및 Depth 이미지를 획득하는 단계;
    상기 피사체 중 적어도 일부 객체에 대응하는 RGB 부분 데이터 및 상기 적어도 일부 객체 대응하는 Depth 부분 데이터를 획득하여 필터링하는 단계;
    상기 필터링된 상기 RGB 부분 데이터와 상기 Depth 부분 데이터를 기반으로 3D 포인트 클라우드 데이터를 생성하여 저장하는 단계;를 포함하는 것을 특징으로 하는 3D AR 객체 이미지 수집 장치의 운용 방법.
  7. 제6항에 있어서,
    상기 복수의 카메라들 중 상기 RGB 이미지 또는 상기 Depth 이미지를 제공하는 카메라의 비활성화 또는 비연결 상태를 확인하는 단계;
    상기 카메라의 비활성화 또는 비연결 상태에 대응하는 에러 정보를 출력하는 단계;를 더 포함하는 것을 특징으로 하는 3D AR 객체 이미지 수집 장치의 운용 방법.
  8. 제6항에 있어서,
    상기 필터링하는 단계는
    상기 RGB 이미지에서 선택된 특정 객체에 대응하는 상기 RGB 부분 데이터 및 상기 특정 객체 대응하는 상기 Depth 부분 데이터를 필터링하는 단계; 또는
    상기 Depth 이미지 중 특정 깊이에 위치한 객체에 해당하는 상기 Depth 부분 데이터 및 상기 특정 깊이의 객체 해당하는 상기 RGB 부분 데이터를 필터링하는 단계;를 포함하는 것을 특징으로 하는 3D AR 객체 이미지 수집 장치의 운용 방법.
  9. 제8항에 있어서,
    상기 Depth 부분 데이터의 해상도를 기준으로 상기 RGB 부분 데이터의 해상도를 변환하여 상기 Depth 부분 데이터의 해상도와 상기 RGB 부분 데이터의 해상도를 일치시키는 단계;를 더 포함하는 것을 특징으로 하는 3D AR 객체 이미지 수집 장치의 운용 방법.
KR1020210144555A 2021-10-27 2021-10-27 3d ar 객체 영상 실시간 획득 시스템 및 이의 운용 방법 KR102539827B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210144555A KR102539827B1 (ko) 2021-10-27 2021-10-27 3d ar 객체 영상 실시간 획득 시스템 및 이의 운용 방법
PCT/KR2021/017527 WO2023074999A1 (ko) 2021-10-27 2021-11-25 3d ar 객체 영상 실시간 획득 시스템 및 이의 운용 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210144555A KR102539827B1 (ko) 2021-10-27 2021-10-27 3d ar 객체 영상 실시간 획득 시스템 및 이의 운용 방법

Publications (2)

Publication Number Publication Date
KR20230060596A KR20230060596A (ko) 2023-05-08
KR102539827B1 true KR102539827B1 (ko) 2023-06-08

Family

ID=86160051

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210144555A KR102539827B1 (ko) 2021-10-27 2021-10-27 3d ar 객체 영상 실시간 획득 시스템 및 이의 운용 방법

Country Status (2)

Country Link
KR (1) KR102539827B1 (ko)
WO (1) WO2023074999A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157606A (ja) 2000-11-17 2002-05-31 Canon Inc 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体
KR102113812B1 (ko) 2014-09-19 2020-05-22 한국전자통신연구원 Rgb-d 영상을 이용한 실감형 증강현실 구현 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102577686B1 (ko) * 2018-03-05 2023-09-14 한국전자통신연구원 홀로그램 생성 방법
US10853946B2 (en) * 2018-05-18 2020-12-01 Ebay Inc. Physical object boundary detection techniques and systems
KR102061152B1 (ko) * 2018-05-24 2020-02-11 (주)네모랩스 증강현실 서비스 제공 시스템 및 이의 360도 회전 이미지 파일 생성 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157606A (ja) 2000-11-17 2002-05-31 Canon Inc 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体
KR102113812B1 (ko) 2014-09-19 2020-05-22 한국전자통신연구원 Rgb-d 영상을 이용한 실감형 증강현실 구현 장치 및 방법

Also Published As

Publication number Publication date
WO2023074999A1 (ko) 2023-05-04
KR20230060596A (ko) 2023-05-08

Similar Documents

Publication Publication Date Title
US11024092B2 (en) System and method for augmented reality content delivery in pre-captured environments
WO2018192084A1 (zh) 深度计算处理器、数据处理方法以及3d图像设备
TW378159B (en) Input position detection device and entertainment system
CN110574075B (zh) 用于生成虚拟视点图像的设备、系统、方法和存储介质
CN104583982B (zh) 医疗支援系统及其方法
KR102383134B1 (ko) 우선 순위에 기반하여 이미지를 처리하는 전자 장치 및 그 동작 방법
EP2872963B1 (en) Abstract camera pipeline for uniform cross-device control of image capture and processing
CN105488846A (zh) 一种显示方法及电子设备
JP2018097581A (ja) 情報処理装置およびプログラム
CN108961424B (zh) 虚拟信息处理方法、设备及存储介质
KR102539827B1 (ko) 3d ar 객체 영상 실시간 획득 시스템 및 이의 운용 방법
TWI567476B (zh) 影像處理裝置與影像處理方法
CN108476290B (zh) 用于提供全景图像的电子装置及其控制方法
JP5864371B2 (ja) 静止画自動生成システム、静止画自動生成システムにおける作業者用情報処理端末及び指示者用情報処理端末、及び判定装置
JP2016224831A (ja) 棚割情報生成装置、棚割情報生成システム、棚割情報生成方法、撮像装置、およびプログラム
EP4102451A1 (en) Method for generating image and electronic device therefor
KR20190059711A (ko) 분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법
CN105025286B (zh) 图像处理装置
CN113630592A (zh) 扩增实境异地共演系统
KR102515405B1 (ko) Kinect 장치들을 이용한 AR 콘텐츠용 3D 공간 맵 지원 방법 및 이를 지원하는 전자 장치
KR20240051400A (ko) 실시간 3d ar 객체 획득 장치, 시스템 및 방법
KR20080087256A (ko) 복수개의 이동통신단말기를 이용한 다시점 영상 획득 방법및 시스템
JP7197211B2 (ja) 三次元グラフィックスデータ作成方法、プログラム及び三次元グラフィックスデータ作成システム
WO2018066161A1 (ja) ディスプレイ装置、制御装置、及びマルチディスプレイシステム
CN113141501A (zh) 实现3d显示的方法、装置及3d显示系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant