KR102273577B1 - 다시점 촬영 가이딩 장치 및 방법 - Google Patents

다시점 촬영 가이딩 장치 및 방법 Download PDF

Info

Publication number
KR102273577B1
KR102273577B1 KR1020190136642A KR20190136642A KR102273577B1 KR 102273577 B1 KR102273577 B1 KR 102273577B1 KR 1020190136642 A KR1020190136642 A KR 1020190136642A KR 20190136642 A KR20190136642 A KR 20190136642A KR 102273577 B1 KR102273577 B1 KR 102273577B1
Authority
KR
South Korea
Prior art keywords
image
view
silhouette
camera
viewpoint
Prior art date
Application number
KR1020190136642A
Other languages
English (en)
Other versions
KR20210051403A (ko
Inventor
임성재
김기남
김태준
윤승욱
이승욱
황본우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020190136642A priority Critical patent/KR102273577B1/ko
Priority to US17/085,077 priority patent/US11375107B2/en
Publication of KR20210051403A publication Critical patent/KR20210051403A/ko
Application granted granted Critical
Publication of KR102273577B1 publication Critical patent/KR102273577B1/ko

Links

Images

Classifications

    • H04N5/23222—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N5/2256—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

다시점 촬영 가이딩 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 다시점 촬영 가이딩 장치는 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리를 포함하고, 상기 적어도 하나 이상의 프로그램은 카메라를 통해 관심객체를 촬영한 단일 시점 2D 영상을 입력 받고, 상기 관심객체에 대한 다시점 2D 영상으로부터 기학습된 변환 파라미터를 이용하여 상기 단일 시점 2D 영상으로부터 상기 관심객체에 대한 직교 투영 영상과 원근 투영 영상을 생성하고, 상기 직교 투영 영상과 원근 투영 영상을 이용하여 상기 관심 객체에 대한 3D 실루엣 모델을 생성하고, 상기 3D 실루엣 모델과, 상기 3D 실루엣 모델에 대한 가이딩 인터페이스를 출력한다.

Description

다시점 촬영 가이딩 장치 및 방법 {APPARATUS AND METHOD FOR GUIDING MULTI-VIEW CAPTURE}
본 발명은 다시점 촬영 가이딩 기술에 관한 것으로, 보다 상세하게는 객체 정밀측정 및 3D 객체복원을 위해 한 대의 카메라를 이용한 다양한 시점의 객체촬영 자동 가이딩 방법 및 장치에 관한 것이다.
기존의 다시점 영상 기반 3D 객체복원에서 정확한 다시점 영상을 촬영하기 위한 방법은 여러 대의 카메라를 미리 배치하여, 사전 캘리브레이션을 수행하는 방법과 중앙에 촬영 객체를 놓고 카메라가 원으로 회전을 하면서 다시점 영상을 촬영하는 방법이 있다. 모바일 기기와 같은 경우는 대상 객체에 적합한 실루엣 정보를 사용자에게 제공하여 다시점 촬영에 대한 간단한 가이드를 제공한다.
여러 대의 카메라를 배치하거나 회전하는 경우는 촬영하기가 불편하며, 또한 대상 객체의 위치에 따라 각 시점에서 촬영되는 객체의 크기가 다를 수 있다. 단순한 실루엣을 제공하는 경우에도 흔들림, 기울기 등에 따라 부정확한 촬영이 될 수 있다.
본 발명에서는 실시간 처리를 통해 사용자에게 카메라 기울임 등의 적절한 가이딩을 제공함으로써, 쉽고 편하게 다시점 영상을 촬영할 수 있는 다시점 촬영 가이딩 장치 및 방법을 제안한다.
한편, 한국등록특허 제 10-1906431 호 “２Ｄ 이미지 인식에 기반한 ３Ｄ 모델링 방법 및 그 시스템”는 2D 이미지에 대해 3D 모델링에 적합한 2D 이미지를 획득한 후 획득한 2D 이미지를 이용하여 3D 모델을 생성할 수 있는 방법 및 시스템 에 관하여 개시하고 있다.
본 발명은 카메라를 통해 획득한 영상으로부터 관심객체의 외형측정, 정밀측정 및 3D 복원을 제공하는 것을 목적으로 한다.
또한, 본 발명은 최초 촬영한 영상 시점을 기준으로 다른 시점에 대한 촬영 가이딩 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 촬영 가이딩을 통해 사용자가 쉽고 정확하게 다시점 영상을 촬영하도록 지원하는 것을 목적으로 한다.
또한, 본 발명은 기계학습을 기반으로 다시점 촬영 가이딩 성능을 향상시키는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 다시점 촬영 가이딩 장치는 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리를 포함하고, 상기 적어도 하나 이상의 프로그램은 카메라를 통해 관심객체를 촬영한 단일 시점 2D 영상을 입력 받고, 상기 관심객체에 대한 다시점 2D 영상으로부터 기학습된 영상 변환 파라미터를 이용하여 상기 단일 시점 2D 영상으로부터 상기 관심객체에 대한 직교 투영 영상과 원근 투영 영상을 생성하고, 상기 직교 투영 영상과 원근 투영 영상을 이용하여 상기 관심 객체에 대한 3D 실루엣 모델을 생성하고, 상기 3D 실루엣 모델과, 상기 3D 실루엣 모델에 대한 가이딩 인터페이스를 출력할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 다시점 2D 영상을 입력 받아 3D 실루엣 모델을 생성하기 위한 파라미터를 학습할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 카메라를 통해 관심객체의 다시점 2D 영상을 입력 받아 투영 영상 간 변환파라미터 학습, 다시점 직교투영 실루엣 예측 학습, 조명 학습을 수행하여 학습파라미터를 생성할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 관심객체에 대한 다시점 2D 영상으로부터 기학습된 다시점 실루엣 예측 파라미터를 이용하여 상기 단일 시점 2D 영상으로부터 나머지 시점 2D 영상들의 실루엣을 예측하고, 예측된 실루엣들을 이용하여 상기 3D 실루엣 모델을 생성할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 관심객체에 대한 다시점 2D 영상으로부터 기학습된 직교 투영 실루엣 예측 학습파라미터를 이용하여 직교 투영 정면 영상(초기 시점의 직교 투영된 정면 영상)으로부터 다시점 실루엣 예측을 수행할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 예측된 다시점 직교투영된 실루엣을 카메라에 디스플레이하기 위해 다시 원근투영 실루엣으로 변환할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 조명 변환 수행 등을 추론 수행하여 생성된 시점간 조정된 조명 환경하의 원근투영된 다시점 실루엣 영상을 디스플레이에 표기하여 가이딩할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 관심객체에 대한 다시점 2D 영상으로부터 기학습된 조명 변환 파라미터를 이용하여 상기 단일 시점 2D 영상의 조명 값을 기설정된 차이 내의 조명 값으로 보정할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 카메라의 자이로스코프 정보를 이용하여 상기 카메라의 기울임 정도값과 카메라 기울임 방향값을 산출할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 카메라의 기울임 정도값과 카메라 기울임 방향값에 기반하여 상기 3D 실루엣 모델에 대한 가이딩 인터페이스를 출력할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 다시점 촬영 가이딩 방법은 다시점 촬영 가이딩 장치의 다시점 촬영 가이딩 방법에 있어서, 카메라를 통해 관심객체를 촬영한 단일 시점 2D 영상을 입력 받는 단계; 상기 관심객체에 대한 다시점 2D 영상으로부터 기학습된 변환 파라미터를 이용하여 상기 단일 시점 2D 영상으로부터 상기 관심객체에 대한 직교 투영 영상과 원근 투영 영상을 생성하고, 상기 직교 투영 영상과 원근 투영 영상을 이용하여 상기 관심 객체에 대한 3D 실루엣 모델을 생성하는 단계 및 상기 3D 실루엣 모델과, 상기 3D 실루엣 모델에 대한 가이딩 인터페이스를 출력하는 단계를 포함한다.
이 때, 상기 다시점 촬영 가이딩 방법은 다시점 2D 영상을 입력 받아 3D 실루엣 모델을 생성하기 위한 파라미터를 학습하는 단계를 더 포함할 수 있다.
이 때, 상기 파라미터를 학습하는 단계는 카메라를 통해 관심객체의 다시점 2D 영상을 입력 받아 투영 영상 간 변환파라미터 학습, 다시점 직교투영 실루엣 예측 학습, 조명 학습을 수행하여 학습파라미터를 생성할 수 있다.
이 때, 상기 3D 실루엣 모델을 생성하는 단계는 상기 관심객체에 대한 다시점 2D 영상으로부터 기학습된 다시점 실루엣 예측 파라미터를 이용하여 상기 단일 시점 2D 영상으로부터 나머지 시점 2D 영상들의 실루엣을 예측하고, 예측된 실루엣들을 이용하여 상기 3D 실루엣 모델을 생성할 수 있다.
이 때, 상기 3D 실루엣 모델을 생성하는 단계는 상기 관심객체에 대한 다시점 2D 영상으로부터 기학습된 조명 변환 파라미터를 이용하여 상기 단일 시점 2D 영상의 조명 값을 기설정된 차이 내의 조명 값으로 보정할 수 있다.
이 때, 상기 3D 실루엣 모델을 생성하는 단계는 상기 관심객체에 대한 다시점 2D 영상으로부터 기학습된 직교 투영 실루엣 예측 학습파라미터를 이용하여 직교 투영 정면 영상(초기 시점의 직교 투영된 정면 영상)으로부터 다시점 실루엣 예측을 수행할 수 있다.
이 때, 상기 3D 실루엣 모델을 생성하는 단계는 예측된 다시점 직교투영된 실루엣을 카메라에 디스플레이하기 위해 다시 원근투영 실루엣으로 변환할 수 있다.
이 때, 상기 3D 실루엣 모델을 생성하는 단계는 조명 변환 수행 등을 추론 수행하여 생성된 시점간 조정된 조명 환경하의 원근투영된 다시점 실루엣 영상을 디스플레이에 표기하여 가이딩할 수 있다.
이 때, 상기 3D 실루엣 모델을 생성하는 단계는 상기 카메라의 자이로스코프 정보를 이용하여 상기 카메라의 기울임 정도값과 카메라 기울임 방향값을 산출할 수 있다.
이 때, 상기 출력하는 단계는 상기 카메라의 기울임 정도값과 카메라 기울임 방향값에 기반하여 상기 3D 실루엣 모델에 대한 가이딩 인터페이스를 출력할 수 있다.
본 발명은 카메라를 통해 획득한 영상으로부터 관심객체의 외형측정, 정밀측정 및 3D 복원을 제공할 수 있다.
또한, 본 발명은 최초 촬영한 영상 시점을 기준으로 다른 시점에 대한 촬영 가이딩 방법 및 장치를 제공할 수 있다.
또한, 본 발명은 촬영 가이딩을 통해 사용자가 쉽고 정확하게 다시점 영상을 촬영하도록 지원할 수 있다.
또한, 본 발명은 기계학습을 기반으로 다시점 촬영 가이딩 성능을 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 다시점 촬영 가이딩 장치를 나타낸 블록도이다.
도 2는 도 1에 도시된 입력부의 일 예를 세부적으로 나타낸 블록도이다.
도 3은 도 1에 도시된 학습 연산부의 일 예를 세부적으로 나타낸 블록도이다.
도 4는 도 3에 도시된 학습부의 일 예를 세부적으로 나타낸 블록도이다.
도 5는 도 3에 도시된 연산부의 일 예를 세부적으로 나타낸 블록도이다.
도 6은 본 발명의 일실시예에 따른 투영영상 변환 과정을 나타낸 도면이다.
도 7은 도 1에 도시된 출력부의 일 예를 세부적으로 나타낸 블록도이다.
도 8은 본 발명의 일실시예에 따른 다시점 촬영 가이딩 방법을 나타낸 동작흐름도이다.
도 9는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 다시점 촬영 가이딩 장치를 나타낸 블록도이다. 도 2는 도 1에 도시된 입력부의 일 예를 세부적으로 나타낸 블록도이다. 도 3은 도 1에 도시된 학습 연산부의 일 예를 세부적으로 나타낸 블록도이다. 도 4는 도 3에 도시된 학습부의 일 예를 세부적으로 나타낸 블록도이다. 도 5는 도 3에 도시된 연산부의 일 예를 세부적으로 나타낸 블록도이다. 도 6은 본 발명의 일실시예에 따른 투영영상 변환 과정을 나타낸 도면이다. 도 7은 도 1에 도시된 출력부의 일 예를 세부적으로 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 다시점 촬영 가이딩 장치(100)는 입력부(200), 학습 연산부(300) 및 출력부(400)를 포함한다.
입력부(200)는 카메라를 통해 관심객체를 촬영한 다시점 2D 영상을 입력 받을 수 있다.
이 때, 입력부(200)는 카메라로부터 촬영된 단일 시점 2D 영상을 입력 받아 관심객체와 배경을 분리할 수 있다.
도 2를 참조하면, 입력부(200)는 초기시점 촬영정보 입력부(210), 초기시점 영상 전처리부(220), 초기시점 카메라정보 분석부(230) 및 정보전달부(240)를 포함할 수 있다.
초기시점 촬영정보 입력부(210)는 카메라로부터 촬영된 단일 시점의 2D 영상을 입력 받을 수 있다.
초기시점 영상 전처리부(220)는 관심객체인 전경과 배경의 분리를 수행할 수 있다.
초기시점 카메라정보 분석부(230)는 단일 시점의 카메라 정보를 통해 단일 시점의 카메라 기울임 정도값과 카메라 방향 값을 분석할 수 있다.
정보전달부(240)는 관심객체 영상을 학습 연산부(300)에 전달할 수 있다.
학습 연산부(300)는 다시점 2D 영상으로부터 영상 변환 파라미터, 다시점 직교투영 실루엣 예측 파라미터, 조명 변환 파라미터를 학습하고, 기학습된 영상 변환 파라미터, 다시점 직교투영 실루엣 예측 파라미터, 조명 변환 파라미터를 이용하여 단일 시점 2D 영상으로부터 상기 관심객체에 대한 직교 투영 영상과 원근 투영 영상을 생성하고, 상기 직교 투영 영상과 원근 투영 영상을 이용하여 상기 관심 객체에 대한 3D 실루엣 모델을 생성할 수 있다.
이 때, 학습 연산부(300)는 카메라를 통해 관심객체의 다시점 2D 영상을 입력 받아 투영 영상 간 변환파라미터 학습, 다시점 직교투영 실루엣 예측 학습, 조명 학습을 수행하여 학습파라미터를 생성할 수 있다.
이 때, 학습 연산부(300)는 입력부(200)로부터 전달된 초기시점 영상정보 및 카메라 자이로스코프 정보 기반 정밀측정 및 3D 복원에 적절한 시점 별 실루엣 가이딩 및 카메라 카메라 기울임 방향값 및 카메라 기울임 정도값을 실시간 계산하고 가이딩 정보를 생성할 수 있다.
이 때, 학습 연산부(300)는 기학습된 직교 투영 실루엣 예측 학습파라미터를 이용하여 직교 투영 정면 영상(단일 시점의 직교 투영된 정면 영상)으로부터 다시점 실루엣 예측을 수행할 수 있다.
이 때, 학습 연산부(300)는 예측된 다시점 직교투영된 실루엣을 카메라에 디스플레이하기 위해 다시 원근투영 실루엣으로 변환할 수 있다.
이 때, 학습 연산부(300)는 조명 변환 수행 등을 추론 수행하여 생성된 시점간 조정된 조명 환경하의 원근투영된 다시점 실루엣 영상을 디스플레이에 표기하여 가이딩할 수 있다.
도 3을 참조하면, 학습 연산부(300)는 학습부(310) 및 연산부(320)를 포함할 수 있다.
학습부(310)는 오프라인에서 다시점 2D 영상에 대한 3D 실루엣 모델을 생성하기 위한 학습을 수행할 있다.
도 4를 참조하면, 학습부(310)는 3D 객체 데이터베이스부(311), 다시점 직교 투영부(312), 영상 변환 파라미터 학습부(313), 다시점 직교투영 실루엣 예측 학습부(314), 다시점 원근투영부(315), 다시점 다조명 직교투영부(316) 및 조명 변환 파라미터 계산 학습부(317)를 포함할 수 있다.
3D 객체 데이터베이스부(311)는 다양한 3D 객체를 수집하여 학습 데이터를 미리 구축하고 저장하고 있을 수 있다.
다시점 직교 투영부(312)는 3D 복원에 적합한 객체의 상대적인 크기를 알 수 있는 평면도와 같은 영상을 렌더링할 수 있다.
영상 변환 파라미터 학습부(313)는 FOV(field of view) 앵글(angle)을 예측하여 입력된 원근투영 정보를 직교투영 정보로 변환할 수 있다.
다시점 직교투영 실루엣 예측 학습부(314)는 초기시점의 변환된 직교투영 영상 대비 360도 다시점 직교투영 실루엣을 예측하고 학습할 수 있다.
다시점 원근투영부(315)는 다양한 FOV(field of view) 앵글(angle)에 따른 다양한 원근투영 영상을 렌더링할 수 있다.
다시점 다조명 직교투영부(316)는 실사 촬영 시 다양한 조명환경의 영향을 제거하기 위해 객체 별 다시점 다조명 직교투영을 수행할 수 있다.
조명 변환 파라미터 계산 학습부(317)는 시점 별 무조명 직교투영 영상과 대응시점 다조명 직교투영 영상 간 조명 변환 파라미터를 계산할 수 있다.
입력부(320)는 정보전달부(240)에서 전달된 정보를 입력 받고, 학습부(310)에서 기학습된 영상 변환 파라미터와 조명 변환 파라미터를 이용하여 온라인 상에서 다시점 2D 영상으로부터 3D 실루엣 모델을 생성할 수 있다.
도 5를 참조하면, 연산부(320)는 영상 투영 변환부(321), 영상 조명 변환부(322), 다시점 실루엣 예측부(323) 및 다시점 카메라 기울임 정보 계산부(324)를 포함할 수 있다.
영상 투영 변환부(321)는 기학습된 영상 변환 파라미터를 이용하여 단일 시점 2D 영상에 대한 원근투영 영상을 직교투영 영상으로 변환할 수 있다.
영상 조명 변환부(322)는 기학습된 조명 변환 파라미터를 이용하여 입력된 단일 시점 2D 영상의 조명값을 기설정된 이내의 조명값으로 변환할 수 있다.
다시점 실루엣 예측부(323)는 기학습된 다시점 직교투영 실루엣 예측 파라미터를 이용하여 입력된 단일 시점 2D 영상의 실루엣에 기반하여 나머지 시점의 실루엣들을 예측할 수 있다.
다시점 카메라 기울임 정보 계산부(324)는 카메라 자이로스코프 정보를 이용하여 카메라의 기울임 정도값과 카메라 기울임 방향값을 산출할 수 있다.
도 6을 참조하면, 학습 연산부(300)는 다양한 FOV 앵글의 원근시점(PERSPECTIVE VIEW)의 원근투영 영상에 대응되는 직교투영 영상으로의 변환 학습을 통해 각 FOV 앵글에 대한 포컬 디스턴스(FOCAL DISTANCE) 파라미터를 예측하는 학습이 수행되는 것을 알 수 있다.
이 때, 학습 연산부(300)는 원근투영 영상의 관심객체에 포컬 디스턴스를 반영하여 객체 크기가 변환된 직교 시점(ORTHOGRAPHIC VIEW)의 관심객체 영상을 생성할 수 있다.
출력부(400)는 3D 실루엣 모델과, 상기 3D 실루엣 모델에 대한 가이딩 인터페이스를 출력할 수 있다.
이 때, 출력부(400)는 학습 연산부(300)에서 생성한 가이딩 정보를 디스플레이로 실시간 출력 및 표기할 수 있다.
도 7을 참조하면, 출력부(400)는 다시점 실루엣 정보 출력부(410), 다시점 카메라 기울임 정보 출력부(420) 및 카메라 가이딩 정보 표기부(430)를 포함할 수 있다.
다시점 실루엣 정보 출력부(410)는 실시간 예측된 3D 실루엣 모델에 관한 정보를 출력할 수 있다.
다시점 카메라 기울임 정보 출력부(420)는 카메라 움직임에 따른 실시간 시점 별 카메라 기울임 정도값과 카메라 기울임 방향값에 관한 정보를 출력할 수 있다.
카메라 가이딩 정보 표기부(430)는 상기 카메라의 기울임 정도값과 카메라 기울임 방향값에 기반하여 상기 3D 실루엣 모델에 대한 가이딩 인터페이스를 출력할 수 있다.
이 때, 입력부(200), 학습 연산부(300) 및 출력부(400)는 내부 가이딩 처리부(500)에 포함될 수 있다.
도 8은 본 발명의 일실시예에 따른 다시점 촬영 가이딩 방법을 나타낸 동작흐름도이다.
도 8을 참조하면, 본 발명의 일실시예에 따른 다시점 촬영 가이딩 방법은 다시점 2D 영상을 입력 받을 수 있다(S610).
즉, 단계(S610)는 카메라를 통해 관심객체를 촬영한 다시점 2D 영상을 입력 받을 수 있다.
이 때, 단계(S610)는 카메라로부터 촬영된 단일 시점 2D 영상을 입력 받아 관심객체와 배경을 분리할 수 있다.
이 때, 단계(S610)는 카메라로부터 촬영된 단일 시점의 2D 영상을 입력 받을 수 있다.
이 때, 단계(S610)는 관심객체인 전경과 배경의 분리를 수행할 수 있다.
이 때, 단계(S610)는 단일 시점의 카메라 정보를 통해 단일 시점의 카메라 기울임 정도값과 카메라 방향 값을 분석할 수 있다.
또한, 본 발명의 일실시예에 따른 다시점 촬영 가이딩 방법은 학습 연산을 통해 다시점 2D 영상으로부터 3D 실루엣 모델을 생성할 수 있다(S620).
즉, 단계(S620)는 다시점 2D 영상으로부터 영상 변환 파라미터, 다시점 직교투영 실루엣 예측 파라미터, 조명 변환 파라미터를 학습하고, 기학습된 영상 변환 파라미터, 다시점 직교투영 실루엣 예측 파라미터, 조명 변환 파라미터를 이용하여 단일 시점 2D 영상으로부터 상기 관심객체에 대한 직교 투영 영상과 원근 투영 영상을 생성하고, 상기 직교 투영 영상과 원근 투영 영상을 이용하여 상기 관심 객체에 대한 3D 실루엣 모델을 생성할 수 있다.
이 때, 단계(S620)는 카메라를 통해 관심객체의 다시점 2D 영상을 입력 받아 투영 영상 간 변환파라미터 학습, 다시점 직교투영 실루엣 예측 학습, 조명 학습을 수행하여 학습파라미터를 생성할 수 있다.
이 때, 단계(S620)는 기학습된 직교 투영 실루엣 예측 학습파라미터를 이용하여 직교 투영 정면 영상(단일 시점의 직교 투영된 정면 영상)으로부터 다시점 실루엣 예측을 수행할 수 있다.
이 때, 단계(S620)는 예측된 다시점 직교투영된 실루엣을 카메라에 디스플레이하기 위해 다시 원근투영 실루엣으로 변환할 수 있다.
이 때, 단계(S620)는 조명 변환 수행 등을 추론 수행하여 생성된 시점간 조정된 조명 환경하의 원근투영된 다시점 실루엣 영상을 디스플레이에 표기하여 가이딩할 수 있다.
이 때, 단계(S620)는 전달된 초기시점 영상정보 및 카메라 자이로스코프 정보 기반 정밀측정 및 3D 복원에 적절한 시점 별 실루엣 가이딩 및 카메라 카메라 기울임 방향값 및 카메라 기울임 정도값을 실시간 계산하고 가이딩 정보를 생성할 수 있다.
이 때, 단계(S620)는 오프라인에서 다시점 2D 영상에 대한 3D 실루엣 모델을 생성하기 위한 학습을 수행할 수 있다.
이 때, 단계(S620)는 다양한 3D 객체를 수집하여 학습 데이터를 미리 구축하고 저장하고 있을 수 있다.
이 때, 단계(S620)는 3D 복원에 적합한 객체의 상대적인 크기를 알 수 있는 평면도와 같은 영상을 렌더링할 수 있다.
이 때, 단계(S620)는 FOV(field of view) 앵글(angle)을 예측하여 입력된 원근투영 정보를 직교투영 정보로 변환할 수 있다.
이 때, 단계(S620)는 초기시점의 변환된 직교투영 영상 대비 360도 다시점 직교투영 실루엣을 예측하고 학습할 수 있다.
이 때, 단계(S620)는 다양한 FOV(field of view) 앵글(angle)에 따른 다양한 원근투영 영상을 렌더링할 수 있다.
이 때, 단계(S620)는 실사 촬영 시 다양한 조명환경의 영향을 제거하기 위해 객체 별 다시점 다조명 직교투영을 수행할 수 있다.
이 때, 단계(S620)는 시점 별 무조명 직교투영 영상과 대응시점 다조명 직교투영 영상 간 조명 변환 파라미터를 계산할 수 있다.
이 때, 단계(S620)는 전달된 정보를 입력 받고, 기학습된 영상 변환 파라미터와 조명 변환 파라미터를 이용하여 온라인 상에서 다시점 2D 영상으로부터 3D 실루엣 모델을 생성할 수 있다.
이 때, 단계(S620)는 기학습된 영상 변환 파라미터를 이용하여 단일 시점 2D 영상에 대한 원근투영 영상을 직교투영 영상으로 변환할 수 있다.
이 때, 단계(S620)는 기학습된 조명 변환 파라미터를 이용하여 입력된 단일 시점 2D 영상의 조명값을 기설정된 이내의 조명값으로 변환할 수 있다.
이 때, 단계(S620)는 기학습된 다시점 직교투영 실루엣 예측 파라미터를 이용하여 입력된 단일 시점 2D 영상의 실루엣에 기반하여 나머지 시점의 실루엣들을 예측할 수 있다.
이 때, 단계(S620)는 카메라 자이로스코프 정보를 이용하여 카메라의 기울임 정도값과 카메라 기울임 방향값을 산출할 수 있다.
단계(S620)는 도 6에 도시된 바와 같이, 다양한 FOV 앵글의 원근시점(PERSPECTIVE VIEW)의 원근투영 영상에 대응되는 직교투영 영상으로의 변환 학습을 통해 각 FOV 앵글에 대한 포컬 디스턴스(FOCAL DISTANCE) 파라미터를 예측하는 학습이 수행되는 것을 알 수 있다.
이 때, 단계(S620)는 원근투영 영상의 관심객체에 포컬 디스턴스를 반영하여 객체 크기가 변환된 직교 시점(ORTHOGRAPHIC VIEW)의 관심객체 영상을 생성할 수 있다.
또한, 본 발명의 일실시예에 따른 다시점 촬영 가이딩 방법은 3D 실루엣 모델과 가이딩 인터페이스를 출력할 수 있다(S630).
즉, 단계(S630)는 3D 실루엣 모델과, 상기 3D 실루엣 모델에 대한 가이딩 인터페이스를 출력할 수 있다.
이 때, 단계(S630)는 생성한 가이딩 정보를 디스플레이로 실시간 출력 및 표기할 수 있다.
이 때, 단계(S630)는 실시간 예측된 3D 실루엣 모델에 관한 정보를 출력할 수 있다.
이 때, 단계(S630)는 카메라 움직임에 따른 실시간 시점 별 카메라 기울임 정도값과 카메라 기울임 방향값에 관한 정보를 출력할 수 있다.
이 때, 단계(S630)는 상기 카메라의 기울임 정도값과 카메라 기울임 방향값에 기반하여 상기 3D 실루엣 모델에 대한 가이딩 인터페이스를 출력할 수 있다.
도 9는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
도 9를 참조하면, 본 발명의 일실시예에 따른 다시점 촬영 가이딩 장치(100)는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 9에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.
이 때, 본 발명의 일실시예에 따른 다시점 촬영 가이딩 장치는 하나 이상의 프로세서(1110) 및 상기 하나 이상의 프로세서(1110)에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리(1130)를 포함하고, 상기 적어도 하나 이상의 프로그램은 카메라를 통해 관심객체를 촬영한 단일 시점 2D 영상을 입력 받고, 상기 관심객체에 대한 다시점 2D 영상으로부터 기학습된 영상 변환 파라미터를 이용하여 상기 단일 시점 2D 영상으로부터 상기 관심객체에 대한 직교 투영 영상과 원근 투영 영상을 생성하고, 상기 직교 투영 영상과 원근 투영 영상을 이용하여 상기 관심 객체에 대한 3D 실루엣 모델을 생성하고, 상기 3D 실루엣 모델과, 상기 3D 실루엣 모델에 대한 가이딩 인터페이스를 출력할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 카메라를 통해 관심객체의 다시점 2D 영상을 입력 받아 투영 영상 간 변환파라미터 학습, 다시점 직교투영 실루엣 예측 학습, 조명 학습을 수행하여 학습파라미터를 생성할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 관심객체에 대한 다시점 2D 영상으로부터 기학습된 다시점 실루엣 예측 파라미터를 이용하여 상기 단일 시점 2D 영상으로부터 나머지 시점 2D 영상들의 실루엣을 예측하고, 예측된 실루엣들을 이용하여 상기 3D 실루엣 모델을 생성할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 관심객체에 대한 다시점 2D 영상으로부터 기학습된 직교 투영 실루엣 예측 학습파라미터를 이용하여 직교 투영 정면 영상(단일 시점의 직교 투영된 정면 영상)으로부터 다시점 실루엣 예측을 수행할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 예측된 다시점 직교투영된 실루엣을 카메라에 디스플레이하기 위해 다시 원근투영 실루엣으로 변환할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 조명 변환 수행 등을 추론 수행하여 생성된 시점간 조정된 조명 환경하의 원근투영된 다시점 실루엣 영상을 디스플레이에 표기하여 가이딩할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 관심객체에 대한 다시점 2D 영상으로부터 기학습된 조명 변환 파라미터를 이용하여 상기 단일 시점 2D 영상의 조명 값을 기설정된 차이 내의 조명 값으로 보정할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 카메라의 자이로스코프 정보를 이용하여 상기 카메라의 기울임 정도값과 카메라 기울임 방향값을 산출할 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 카메라의 기울임 정도값과 카메라 기울임 방향값에 기반하여 상기 3D 실루엣 모델에 대한 가이딩 인터페이스를 출력할 수 있다.
이상에서와 같이 본 발명의 일실시예에 따른 다시점 촬영 가이딩 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100: 다시점 촬영 가이딩 장치 200: 입력부
210: 초기시점 촬영정보 입력부 220: 초기시점 영상 전처리부
230: 초기시점 카메라정보 분석부 240: 정보전달부
300: 학습 연산부 310: 학습부
311: 3D 객체 데이터베이스부 312: 다시점 직교투영부
313: 영상 변환 파라미터 학습부
314: 다시점 직교투영 실루엣 예측 학습부
315: 다시점 원근투영부
316: 다시점 다조명 직교투영부
317: 조명 변환 파라미터 계산 학습부
320: 연산부 321: 영상 투영 변환부
322: 영상 조명 변환부 323: 다시점 실루엣 예측부
324: 다시점 카메라 기울임 정보 계산부
400: 출력부
410: 다시점 실루엣 정보 출력부
420: 다시점 카메라 기울임 정보 출력부
430: 카메라 가이딩 정보 표기부
500: 내부 가이딩 처리부
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 인터페이스 입력 장치
1150: 사용자 인터페이스 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크

Claims (10)

  1. 하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리;
    를 포함하고,
    상기 적어도 하나 이상의 프로그램은
    카메라를 통해 관심객체를 촬영한 단일 시점 2D 영상을 입력 받고, 상기 관심객체에 대한 다시점 2D 영상으로부터 기학습된 영상 변환 파라미터를 이용하여 상기 단일 시점 2D 영상으로부터 상기 관심객체에 대한 직교 투영 영상과 원근 투영 영상을 생성하고, 상기 직교 투영 영상과 원근 투영 영상을 이용하여 상기 관심 객체에 대한 3D 실루엣 모델을 생성하고, 상기 3D 실루엣 모델과, 상기 3D 실루엣 모델에 대한 가이딩 인터페이스를 출력하는 것을 특징으로 하는 다시점 촬영 가이딩 장치.
  2. 청구항 1에 있어서,
    상기 적어도 하나 이상의 프로그램은
    상기 관심객체에 대한 다시점 2D 영상으로부터 기학습된 다시점 실루엣 예측 파라미터를 이용하여 상기 단일 시점 2D 영상으로부터 나머지 시점 2D 영상들의 실루엣을 예측하고, 예측된 실루엣들을 이용하여 상기 3D 실루엣 모델을 생성하는 것을 특징으로 하는 다시점 촬영 가이딩 장치.
  3. 청구항 1에 있어서,
    상기 적어도 하나 이상의 프로그램은
    상기 관심객체에 대한 다시점 2D 영상으로부터 기학습된 조명 변환 파라미터를 이용하여 상기 단일 시점 2D 영상의 조명 값을 기설정된 차이 내의 조명 값으로 보정하는 것을 특징으로 하는 다시점 촬영 가이딩 장치.
  4. 청구항 2에 있어서,
    상기 적어도 하나 이상의 프로그램은
    상기 카메라의 자이로스코프 정보를 이용하여 상기 카메라의 기울임 정도값과 카메라 기울임 방향값을 산출하는 것을 특징으로 하는 다시점 촬영 가이딩 장치.
  5. 청구항 4에 있어서,
    상기 적어도 하나 이상의 프로그램은
    상기 카메라의 기울임 정도값과 카메라 기울임 방향값에 기반하여 상기 3D 실루엣 모델에 대한 가이딩 인터페이스를 출력하는 것을 특징으로 하는 다시점 촬영 가이딩 장치.
  6. 다시점 촬영 가이딩 장치의 다시점 촬영 가이딩 방법에 있어서,
    카메라를 통해 관심객체를 촬영한 단일 시점 2D 영상을 입력 받는 단계;
    상기 관심객체에 대한 다시점 2D 영상으로부터 기학습된 변환 파라미터를 이용하여 상기 단일 시점 2D 영상으로부터 상기 관심객체에 대한 직교 투영 영상과 원근 투영 영상을 생성하고, 상기 직교 투영 영상과 원근 투영 영상을 이용하여 상기 관심 객체에 대한 3D 실루엣 모델을 생성하는 단계; 및
    상기 3D 실루엣 모델과, 상기 3D 실루엣 모델에 대한 가이딩 인터페이스를 출력하는 단계;
    를 포함하는 것을 특징으로 하는 다시점 촬영 가이딩 방법.
  7. 청구항 6에 있어서,
    상기 3D 실루엣 모델을 생성하는 단계는
    상기 관심객체에 대한 다시점 2D 영상으로부터 기학습된 다시점 실루엣 예측 파라미터를 이용하여 상기 단일 시점 2D 영상으로부터 나머지 시점 2D 영상들의 실루엣을 예측하고, 예측된 실루엣들을 이용하여 상기 3D 실루엣 모델을 생성하는 것을 특징으로 하는 다시점 촬영 가이딩 방법.
  8. 청구항 6에 있어서,
    상기 3D 실루엣 모델을 생성하는 단계는
    상기 관심객체에 대한 다시점 2D 영상으로부터 기학습된 조명 변환 파라미터를 이용하여 상기 단일 시점 2D 영상의 조명 값을 기설정된 차이 내의 조명 값으로 보정하는 것을 특징으로 하는 다시점 촬영 가이딩 방법.
  9. 청구항 7에 있어서,
    상기 3D 실루엣 모델을 생성하는 단계는
    상기 카메라의 자이로스코프 정보를 이용하여 상기 카메라의 기울임 정도값과 카메라 기울임 방향값을 산출하는 것을 특징으로 하는 다시점 촬영 가이딩 방법.
  10. 청구항 9에 있어서,
    상기 출력하는 단계는
    상기 카메라의 기울임 정도값과 카메라 기울임 방향값에 기반하여 상기 3D 실루엣 모델에 대한 가이딩 인터페이스를 출력하는 것을 특징으로 하는 다시점 촬영 가이딩 방법.
KR1020190136642A 2019-10-30 2019-10-30 다시점 촬영 가이딩 장치 및 방법 KR102273577B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190136642A KR102273577B1 (ko) 2019-10-30 2019-10-30 다시점 촬영 가이딩 장치 및 방법
US17/085,077 US11375107B2 (en) 2019-10-30 2020-10-30 Apparatus and method for guiding multi-view capture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190136642A KR102273577B1 (ko) 2019-10-30 2019-10-30 다시점 촬영 가이딩 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210051403A KR20210051403A (ko) 2021-05-10
KR102273577B1 true KR102273577B1 (ko) 2021-07-07

Family

ID=75688091

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190136642A KR102273577B1 (ko) 2019-10-30 2019-10-30 다시점 촬영 가이딩 장치 및 방법

Country Status (2)

Country Link
US (1) US11375107B2 (ko)
KR (1) KR102273577B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278080A (zh) * 2022-07-28 2022-11-01 北京五八信息技术有限公司 一种蒙版生成方法、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012208759A (ja) 2011-03-30 2012-10-25 Kddi Corp ３次元形状モデル高精度化方法およびプログラム
KR101514346B1 (ko) 2014-02-14 2015-04-22 한국기술교육대학교 산학협력단 합성 사진 촬영 장치 및 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614429B1 (en) * 1999-05-05 2003-09-02 Microsoft Corporation System and method for determining structure and motion from two-dimensional images for multi-resolution object modeling
KR101221451B1 (ko) 2008-12-22 2013-01-11 한국전자통신연구원 다시점 영상기반 동적 개체의 디지털 클론 생성 방법
KR102101438B1 (ko) 2015-01-29 2020-04-20 한국전자통신연구원 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법
EP3179407B1 (en) 2015-12-07 2022-07-13 Dassault Systèmes Recognition of a 3d modeled object from a 2d image
US10609286B2 (en) * 2017-06-13 2020-03-31 Adobe Inc. Extrapolating lighting conditions from a single digital image
KR101906431B1 (ko) 2017-07-20 2018-10-11 네이버랩스 주식회사 ２ｄ 이미지 인식에 기반한 ３ｄ 모델링 방법 및 그 시스템
US10657709B2 (en) * 2017-10-23 2020-05-19 Fit3D, Inc. Generation of body models and measurements
US10887582B2 (en) * 2019-01-22 2021-01-05 Fyusion, Inc. Object damage aggregation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012208759A (ja) 2011-03-30 2012-10-25 Kddi Corp ３次元形状モデル高精度化方法およびプログラム
KR101514346B1 (ko) 2014-02-14 2015-04-22 한국기술교육대학교 산학협력단 합성 사진 촬영 장치 및 방법

Also Published As

Publication number Publication date
US11375107B2 (en) 2022-06-28
KR20210051403A (ko) 2021-05-10
US20210136280A1 (en) 2021-05-06

Similar Documents

Publication Publication Date Title
Cavagna et al. The STARFLAG handbook on collective animal behaviour: Part I, empirical methods
US20110249117A1 (en) Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program
US8144974B2 (en) Image processing apparatus, method, and program
US9704255B2 (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program
JP2020506487A (ja) シーンから深度情報を取得するための装置および方法
US10545215B2 (en) 4D camera tracking and optical stabilization
US20220078385A1 (en) Projection method based on augmented reality technology and projection equipment
US10192312B2 (en) Distance estimation using multi-camera device
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
CN112102199A (zh) 深度图像的空洞区域填充方法、装置和系统
CN112312113B (zh) 用于生成三维模型的方法、装置和系统
CN111882655A (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
US10354399B2 (en) Multi-view back-projection to a light-field
KR102273577B1 (ko) 다시점 촬영 가이딩 장치 및 방법
JP6867645B2 (ja) 画像処理装置、方法、及びプログラム
JP6409769B2 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
JP6483661B2 (ja) 撮像制御装置、撮像制御方法およびプログラム
US8179431B2 (en) Compound eye photographing apparatus, control method therefor, and program
KR20110133677A (ko) 3ｄ 영상 처리 장치 및 그 방법
JP6969739B2 (ja) 位置情報取得システム、位置情報取得方法及びプログラム
WO2018150086A2 (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
KR20210112263A (ko) 가상시점 영상 구성 방법 및 장치
JP2006078291A (ja) 全方位三次元計測装置
JP2016024490A (ja) 画像処理装置、画像処理方法およびプログラム
KR101323195B1 (ko) 2차원 영상에서 3차원 영상 생성 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant