KR102287939B1 - 동영상을 이용하여 3차원 이미지를 렌더링하는 장치 및 방법 - Google Patents

동영상을 이용하여 3차원 이미지를 렌더링하는 장치 및 방법 Download PDF

Info

Publication number
KR102287939B1
KR102287939B1 KR1020180171826A KR20180171826A KR102287939B1 KR 102287939 B1 KR102287939 B1 KR 102287939B1 KR 1020180171826 A KR1020180171826 A KR 1020180171826A KR 20180171826 A KR20180171826 A KR 20180171826A KR 102287939 B1 KR102287939 B1 KR 102287939B1
Authority
KR
South Korea
Prior art keywords
frame
image
frames
optimal
rendering apparatus
Prior art date
Application number
KR1020180171826A
Other languages
English (en)
Other versions
KR20190082129A (ko
Inventor
김제형
Original Assignee
주식회사 이오이스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이오이스 filed Critical 주식회사 이오이스
Publication of KR20190082129A publication Critical patent/KR20190082129A/ko
Application granted granted Critical
Publication of KR102287939B1 publication Critical patent/KR102287939B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

본 발명의 실시예에 따른 동영상을 이용하여 3차원 이미지를 렌더링하는 장치 및 방법이 제공된다. 본 발명의 실시예에 따른 동영상을 이용하여 3차원 이미지를 렌더링하는 장치는 통신부; 저장부; 및 상기 통신부 및 상기 저장부와 동작 가능하게 연결되는 프로세서를 포함하고, 상기 프로세서는, 상기 통신 인터페이스를 통해서 복수의 촬영 장치들로부터 피사체를 서로 다른 방향에서 촬영한 복수의 동영상들을 수신하고, 상기 복수의 동영상들 각각을 구성하는 프레임들 중 특정 시각에 해당하는 제1 세트의 프레임들을 선택하고, 상기 선택된 제1 세트의 프레임들을 이용하여 3차원 이미지를 생성한다.

Description

동영상을 이용하여 3차원 이미지를 렌더링하는 장치 및 방법{APPARATUS AND METHOD FOR RENDERING 3DIMENSIONAL IMAGE USING VIDEO}
본 발명은 동영상을 이용하여 3차원 이미지를 렌더링하는 장치 및 방법을 제공한다.
최근 3차원 프린터가 개발 및 보급됨에 따라 상품이나 인물과 같은 실물에 대한 3차원 이미지의 필요성과 용도가 증가하고 있다. 3차원 프린팅이 아니더라도, 게임 개발이나, 엔터테인먼트 장치 등에서 간단하게 실물의 정확한 3차원 이미지를 획득하기 위한 필요가 증대되고 있다. 또한, 3차원 이미지뿐만 아니라 3차원 동영상이 영화, 게임 또는 광고 등과 같은 다양한 컨텐츠에서 활용되고 있으며, 3차원 동영상을 획득하기 위한 다양한 방식이 이용된다.
3차원 동영상을 획득하기 위해 일반적으로 모션 캡쳐 방식이 이용될 수 있다. 모션 캡쳐를 위해 피사체(예: 사람)의 관절 등에 적외선 반사체, 발광체, 초음파 발생체, 자기식 센서 또는 광섬유 등과 같은 센서가 부착될 수 있다. 모션 캡쳐를 이용한 3차원 이미지 렌더링 장치는 부착된 센서의 3차원 위치를 검출하여 피사체의 모션 데이터를 획득하고, 획득된 모션 데이터를 이용하여 3차원 이미지 및/또는 3차원 동영상을 생성할 수 있다.
이러한 경우 모션 캡쳐를 위해 피사체에 부착하기 위한 센서들, 센서들로부터 모션 데이터를 획득하고, 이러한 모션 데이터를 이용하여 3차원 이미지 렌더링을 수행하기 위한 장비들이 필요하므로, 이러한 장비들을 구비하지 않을 경우 3차원 이미지 및/또는 3차원 동영상을 획득하기 어렵다. 또한, 이러한 장비들이 고가이고, 모션 캡쳐를 위한 별도의 스튜디오가 요구되므로, 일반적인 사용자가 간단하게 3차원 이미지 및/또는 3차원 동영상을 획득하기 어렵다.
따라서, 모션 캡쳐를 위한 별도의 장비 없이 간단하게 3차원 이미지 및/또는 3차원 동영상을 획득하기 위한 방식이 요구된다.
본 발명이 해결하고자 하는 과제는 동영상을 이용하여 3차원 이미지를 렌더링하기 위한 장치 및 방법을 제공하는 것이다.
구체적으로, 본 발명이 해결하고자 하는 과제는 모션 캡쳐를 위한 별도의 장비들 없이 쉽고 간단하게 3차원 이미지 및/또는 3차원 동영상을 획득하기 위한 3차원 이미지 렌더링 장치 및 방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 실시예에 따른 동영상을 이용하여 3차원 이미지를 렌더링하는 장치 및 방법이 제공된다. 본 발명의 실시예에 따른 동영상을 이용하여 3차원 이미지를 렌더링하는 장치는 통신부; 저장부; 및 상기 통신부 및 상기 저장부와 동작 가능하게 연결되는 프로세서를 포함하고, 상기 프로세서는, 상기 통신 인터페이스를 통해서 복수의 촬영 장치들로부터 피사체를 서로 다른 방향에서 촬영한 복수의 동영상들을 수신하고, 상기 복수의 동영상들 각각을 구성하는 프레임들 중 특정 시각에 해당하는 제1 세트의 프레임들을 선택하고, 상기 선택된 제1 세트의 프레임들을 이용하여 3차원 이미지를 생성한다.
본 발명의 실시예에 따른 동영상을 이용하여 3차원 이미지를 렌더링하는 방법은 복수의 촬영 장치들로부터 피사체를 서로 다른 방향에서 촬영한 복수의 동영상들을 수신하는 단계; 상기 복수의 동영상들 각각을 구성하는 프레임들 중 특정 시각에 해당하는 제1 세트의 프레임들을 선택하는 단계; 및 상기 선택된 제1 세트의 프레임들을 이용하여 3차원 이미지를 생성하는 단계를 포함한다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 복수의 촬영 장치들을 통해 촬영된 동영상을 이용하여 복수의 3차원 이미지들을 생성하고, 복수의 3차원 이미지들을 이용하여 3차원 동영상을 생성함으로써, 모션 캡쳐를 위한 별도의 장비들을 구비하지 않으므로, 3차원 동영상 생성을 위한 비용을 최소화하면서 쉽고 간단하게 3차원 동영상을 생성할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 발명 내에 포함되어 있다.
도 1은 본 발명의 실시예에 따른 동영상을 이용한 3차원 이미지 렌더링 시스템을 설명하기 위한 개략도이다.
도 2는 본 발명의 실시예에 따른 3차원 이미지 렌더링 장치를 설명하기 위한 개략도이다.
도 3은 본 발명의 실시예에 따른 3차원 이미지 렌더링 장치에서 동영상을 이용하여 3차원 이미지를 렌더링하는 방법을 설명하기 위한 개략적인 순서도이다.
도 4는 본 발명의 실시예에 따른 3차원 이미지 렌더링 장치에서 3차원 이미지를 이용하여 3차원 동영상을 생성하기 위한 방법을 설명하기 위한 개략적인 순서도이다.
도 5는 본 발명의 실시예에 따른 3차원 이미지 렌더링 장치에서 3차원 이미지를 생성하기 위해 특정 시각에 해당하는 최적 프레임을 획득하는 방법을 설명하기 위한 예시도이다.
도 6은 본 발명의 실시예에 따른 복수의 촬영 장치들 각각의 위치별 획득된 프레임을 나타내는 인터페이스 화면의 예시도이다.
도 7a 및 도 7b는 본 발명의 실시예에 따른 3차원 이미지 렌더링 장치를 통해 생성된 3차원 모델 및 3차원 이미지를 나타내는 인터페이스의 예시도들이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 동영상을 이용한 3차원 이미지 렌더링 시스템을 설명하기 위한 개략도이다.
도 1을 참조하면, 3차원 이미지 렌더링 시스템(1000)은 3차원 이미지 렌더링 시스템(1000)은 피사체를 촬영하는 부스(100) 및 동영상을 이용하여 3차원 이미지를 생성하는 3차원 이미지 렌더링 장치(200)를 포함한다.
부스(100)는 부스(100) 내부에 피사체(TS)가 위치하는 경우 피사체(TS)를 중심으로 복수의 가이더들(guiders)(110)이 수직으로 설치되고, 이러한 가이더들(110)이 일정하게 이격되어 돔형 또는 실린더형 공간을 형성되도록 배치될 수 있다. 이러한 가이더들(110) 각각에는 복수의 촬영 장치(120)가 분산 설치될 수 있다. 제시된 실시예에서는 가이더별로 6개의 촬영 장치가 설치되는 것을 예시하고 있으나, 이에 한정되지 않으며, 가이더들의 수와 촬영 장치의 수는 다양하게 구성될 수 있다. 가이더들(110) 각각은 식별 정보(예: ID 또는 숫자 등)가 부여될 수 있으며, 이러한 식별 정보가 3차원 이미지 렌더링 장치(200)로 제공될 수 있다.
복수의 촬영 장치들(120) 각각은 3차원 이미지 렌더링 장치(200)와 유선으로 연결되어 3차원 이미지 렌더링 장치(200)의 제어에 의해 부스(100) 내부에 위치하는 피사체(TS)의 정면, 후면, 측면, 45도, 60도 등과 같은 다양한 방향에 해당하는 복수의 동영상들을 촬영하고, 촬영된 동영상을 3차원 이미지 렌더링 장치(200)로 전달할 수 있다. 촬영된 동영상들 각각은 3차원 이미지를 생성하기 위해 사용될 수 있는 고화질의 동영상일 수 있다. 또한, 촬영된 동영상들 각각은 3차원 이미지로 렌더링하기 위한 피사체의 적어도 일부분을 포함할 수 있다. 예를 들어, 동영상들은 피사체가 사람인 경우 머리 정면, 상반신 정면, 하반신 정면, 발 정면, 머리 측면, 상반신 측면, 하반신 측면, 발 측면, 머리 후면, 상반신 후면, 하반신 후면 및 발 후면 등을 촬영한 동영상들일 수 있다.
구체적으로, 복수의 촬영 장치들(120) 각각은 3차원 이미지 렌더링 장치(200)로부터 피사체의 동영상을 촬영하도록 제어하기 위한 제어 신호를 수신하고, 제어 신호에 따라 동시에 피사체의 동영상을 촬영할 수 있다. 촬영이 완료되면 복수의 촬영 장치들(120) 각각은 촬영된 동영상을 3차원 이미지 렌더링 장치(200)로 전달할 수 있다. 복수의 촬영 장치(120) 각각은 식별 정보(예: ID 또는 숫자 등)가 부여될 수 있으며, 이러한 식별 정보가 동영상과 함께 3차원 이미지 렌더링 장치(200)로 제공될 수 있다.
복수의 촬영 장치들(120) 각각은 피사체를 촬영한 동영상과 함께 복수의 촬영 장치들(120) 각각의 위치 정보를 3차원 이미지 렌더링 장치(200)로 전달할 수도 있다. 복수의 촬영 장치들(120) 각각은 복수의 촬영 장치들(120) 각각이 배치된 가이더의 위치 및 복수의 촬영 장치들(120) 각각이 배치된 높이를 나타내는 정보를 위치 정보로서 미리 저장하고, 이러한 위치 정보를 동영상과 함께 3차원 이미지 렌더링 장치(200)로 전달할 수 있다. 다양한 실시예에서 3차원 이미지 렌더링 장치(200)가 복수의 촬영 장치들(120) 각각의 식별 정보에 대응하여 각 촬영 장치가 배치된 가이더의 위치 및 해당 가이더에 배치된 촬영 장치의 높이 등을 나타내는 정보를 위치 정보로서 미리 저장한 경우 복수의 촬영 장치들(120) 각각은 식별 정보와 함께 동영상을 3차원 이미지 렌더링 장치(200)로 전달할 수 있다.
다양한 실시예에서 부스(100)는 복수의 촬영 장치들(120) 각각을 제어하기 위한 제어 모듈을 더 포함할 수 있다. 복수의 촬영 장치들(120), 제어 모듈 및 3차원 이미지 렌더링 장치(200)는 유선 또는 무선으로 연결될 수 있다. 예를 들어, 제어 모듈은 3차원 이미지 렌더링 장치(200)로부터 피사체에 대한 동영상 촬영 요청을 수신하고, 요청에 따라 복수의 촬영 장치들(120) 각각이 동시에 피사체에 대한 동영상을 촬영하도록 제어할 수 있다. 촬영이 완료되면 복수의 촬영 장치들(120)은 촬영된 동영상들을 제어 모듈로 전달할 수 있다.
복수의 촬영 장치들(120) 각각은 동영상과 함께 촬영 장치의 식별 정보를 제어 모듈로 전달할 수 있다. 제어 모듈은 복수의 촬영 장치들(120) 각각의 식별 정보에 대응하여 위치 정보를 미리 저장할 수 있다. 예를 들어, 제어 모듈은 위치 정보는 복수의 촬영 장치들(120) 각각의 식별 정보에 대응하여 각 촬영 장치가 배치된 가이더의 위치 및 해당 가이더에 배치된 촬영 장치의 높이 등을 나타내는 정보를 위치 정보로서 미리 저장할 수 있다. 이와 같이 동영상들 및 식별 정보를 수신한 제어 모듈은 촬영 장치들(120) 각각의 식별 정보에 해당하는 위치 정보를 확인하고, 확인된 위치 정보와 함께 동영상들을 3차원 이미지 렌더링 장치(200)로 전달할 수 있다. 다양한 실시예에서 제어 모듈은 복수의 촬영 장치들(120) 각각으로부터 수신된 식별 정보와 함께 동영상을 3차원 이미지 렌더링 장치(200)로 전달할 수도 있다.
다양한 실시예에서 3차원 이미지 렌더링 시스템(1000)은 복수의 촬영 장치들(120)과 3차원 이미지 렌더링 장치(200)를 연결하는 허브 장치를 더 포함할 수 있다. 복수의 촬영 장치들(120)은 허브 장치를 통해 3차원 이미지 렌더링 장치(200)로부터 제어 신호를 수신하고, 제어 신호에 따라 피사체의 동영상을 촬영할 수 있다. 복수의 촬영 장치들(120)은 촬영된 동영상들을 허브 장치를 통해 3차원 이미지 렌더링 장치(200)로 전달할 수도 있다.
다양한 실시예에서 복수의 촬영 장치들(120) 각각은 무선 통신 모듈을 더 포함하고, 무선 통신 모듈을 통해 3차원 이미지 렌더링 장치(200)와 무선으로 연결될 수 있다. 이러한 경우 복수의 촬영 장치들(120) 각각은 무선 통신 모듈을 통해 3차원 이미지 렌더링 장치(200)로부터 제어 신호를 수신하여 제어 신호에 따라 피사체의 동영상들을 촬영하고, 촬영된 동영상들을 무선 통신 모듈을 통해 3차원 이미지 렌더링 장치(200)로 전달할 수 있다.
3차원 이미지 렌더링 장치(200)는 복수의 촬영 장치들(120)이 촬영한 동영상들을 수신하고, 수신된 동영상들 각각을 이루는 프레임들 중 특정 시각에 해당하는 제1 세트의 프레임들을 선택하며, 선택된 제1 세트의 프레임들을 이용하여 3차원 이미지를 생성할 수 있다. 이때, 생성된 3차원 이미지를 첫번째 3차원 이미지로 정의할 수 있다. 구체적으로, 3차원 이미지 렌더링 장치(200)는 복수의 촬영 장치들(120) 각각에 대한 동영상 촬영 요청을 복수의 촬영 장치들(120) 각각으로 전달하거나, 복수의 촬영 장치들(120)의 촬영 동작을 제어하는 제어 모듈로 전달할 수도 있다. 3차원 이미지 렌더링 장치(200)는 요청에 따라 복수의 촬영 장치들(120) 또는 제어 모듈로부터 동영상들을 수신할 수 있다. 예를 들어, 가이더(110)에 설치된 촬영 장치가 30개인 경우 3차원 이미지 렌더링 장치(200)는 30개의 촬영 장치에서 촬영된 30개의 동영상을 수신할 수 있다. 다양한 실시예에서 3차원 이미지 렌더링 장치(200)는 복수의 동영상들과 함께 복수의 촬영 장치들(120) 각각의 식별 정보 또는 위치 정보를 수신할 수 있다.
3차원 이미지 렌더링 장치(200)는 수신된 30개의 동영상 각각을 이루는 프레임들 중 특정 시각에 해당하는 30개의 프레임을 제1 세트의 프레임들로서 선택할 수 있다. 특정 시각에 해당하는 제1 세트의 프레임들을 선택할 시 3차원 이미지 렌더링 장치(200)는 동영상별 특정 시각에 해당하는 프레임이 3차원 이미지 렌더링을 위해 사용될 수 있는 최적 프레임인지를 판단할 수 있다. 여기서, 최적 프레임은 선명도가 높은 이미지일 수 있다. 3차원 이미지 렌더링 장치(200)는 특정 시각에 해당하는 각 프레임의 선명도 값을 산출하고, 산출된 선명도 값이 기 설정된 임계 선명도 값 이상인 경우 해당 프레임을 선명도가 높은 프레임으로 판단할 수 있다.
특정 시각에 해당하는 프레임들 중 적어도 일부의 프레임이 최적 프레임으로 판단되지 않은 경우 3차원 이미지 렌더링 장치(200)는 특정 시각에 해당하는 최적 프레임을 획득하기 위한 다양한 방식을 이용할 수 있다. 여기서, 최적 프레임으로 판단되지 않은 프레임은 선명도가 낮은 프레임, 흐릿한 부분을 포함하는 프레임 또는 블랙 아웃된 프레임 등일 수 있다. 예를 들어, 특정 시각의 프레임이 선명도가 낮은 프레임인 경우 3차원 이미지 렌더링 장치(200)는 특정 시각의 프레임에 대한 에지 강도를 높이기 위한 이미지 처리를 수행하여 특정 시각의 프레임에 대한 선명도를 향상시키고, 이와 같이 이미지 처리된 프레임을 최적 프레임으로 선택할 수 있다. 다양한 실시예에서 3차원 이미지 렌더링 장치(200)는 특정 시각의 프레임에 대한 색상값, 채도값 또는 휘도값을 높이기 위한 이미지 처리를 수행하고, 이와 같이 이미지 처리된 프레임을 최적 프레임으로 선택할 수도 있다. 다양한 실시예에서 해당 프레임이 흐릿한 부분을 포함하는 경우 3차원 이미지 렌더링 장치(200)는 이전 프레임 또는 다음 프레임에 기반하여 특정 시각의 프레임 내 흐릿한 부분을 보정하고, 보정된 프레임을 최적 프레임으로 선택할 수도 있다. 다양한 실시예에서 3차원 이미지 렌더링 장치(200)는 특정 시각의 프레임의 이전 프레임 또는 다음 프레임 중 선명도가 높고, 특정 시각의 프레임과의 픽셀차가 임계치 이하인 프레임을 최적 프레임으로 선택할 수 있다. 이와 같이 최적 프레임을 획득하는 방식은 다양할 수 있으며, 상술한 바와 같이 한정되지 않는다.
3차원 이미지 렌더링 장치(200)는 특정 시각에 대응하여 동영상별로 선택된 최적 프레임 및 위치 정보에 기반하여 첫번째 3차원 이미지를 생성할 수 있다. 생성된 첫번째 3차원 이미지는 3차원 객체를 포함할 수 있다. 여기서, 위치 정보는 각 촬영 장치가 배치된 가이더의 위치 및 해당 가이더에 배치된 촬영 장치의 높이 등을 나타내는 정보를 포함할 수 있다. 예를 들어, 3차원 이미지 렌더링 장치(200)는 각 촬영 장치가 배치된 가이더의 위치 및 해당 가이더에 배치된 촬영 장치의 높이 등을 이용하여 피사체의 정면, 측면, 후면, 40도 또는 60도 등과 같은 각 방향에 대응하는 최적 프레임을 확인하고, 확인된 최적 프레임들에 대한 렌더링을 수행하여 첫번째 3차원 이미지를 생성할 수 있다.
다양한 실시예에서 3차원 이미지 렌더링 장치(200)는 복수의 촬영 장치들(120) 각각의 식별 정보에 대응하여 각 촬영 장치가 배치된 가이더의 위치 및 해당 가이더에 배치된 촬영 장치의 높이 등을 나타내는 정보를 위치 정보로서 미리 저장할 수 있다. 이러한 경우 3차원 이미지 렌더링 장치(200)는 복수의 동영상들과 함께 각 동영상을 촬영한 촬영 장치의 식별 정보가 수신되면 식별 정보에 대응하여 미리 저장된 위치 정보를 확인할 수 있다. 3차원 이미지 렌더링 장치(200)는 확인된 위치 정보에 기반하여 각 방향에 대응하는 최적 프레임을 확인하고, 확인된 최적 프레임들에 대한 렌더링을 수행하여 3차원 이미지를 생성할 수 있다.
3차원 이미지 렌더링 장치(200)는 복수의 촬영 장치들(120)이 촬영한 동영상들 각각을 이루는 프레임들 중 특정 시각과 다른 시각에 해당하는 제2 세트의 프레임들을 선택하고, 선택된 제2 세트의 프레임들을 이용하여 3차원 이미지를 생성할 수 있다. 이때, 생성된 3차원 이미지는 두번째 3차원 이미지로 정의될 수 있다. 3차원 이미지 렌더링 장치(200)는 상술한 제1 세트의 프레임들을 선택하는 과정과 유사하게 제2 세트의 프레임들을 선택할 수 있다. 예를 들어, 3차원 이미지 렌더링 장치(200)는 수신된 30개의 동영상 각각을 이루는 프레임들 중 특정 시각과 다른 시각에 해당하는 30개의 프레임을 제2 세트의 프레임들로서 선택할 수 있다. 다른 시각에 해당하는 제2 세트의 프레임들을 선택할 시 3차원 이미지 렌더링 장치(200)는 동영상별 다른 시각에 해당하는 프레임이 3차원 이미지 렌더링을 위해 사용될 수 있는 최적 프레임인지를 판단할 수 있다.
다른 시각에 해당하는 프레임들 중 최적 프레임으로 판단되지 않은 프레임이 존재하면 3차원 이미지 렌더링 장치(200)는 다른 시각에 해당하는 최적 프레임을 획득하기 위해 상술한 최적 프레임 획득 과정을 유사하게 수행할 수 있다. 예를 들어, 다른 시각의 프레임이 선명도가 낮은 프레임인 경우 3차원 이미지 렌더링 장치(200)는 다른 시각의 프레임에 대한 에지 강도를 높이기 위한 이미지 처리를 수행하여 다른 시각의 프레임에 대한 선명도를 향상시키고, 이와 같이 이미지 처리된 프레임을 최적 프레임으로 획득할 수 있다. 다양한 실시예에서 3차원 이미지 렌더링 장치(200)는 다른 시각의 프레임에 대한 색상값, 채도값 또는 휘도값을 높이기 위한 이미지 처리를 수행하고, 이와 같이 이미지 처리된 프레임을 최적 프레임으로 획득할 수도 있다. 다양한 실시예에서 해당 프레임이 흐릿한 부분을 포함하는 경우 3차원 이미지 렌더링 장치(200)는 이전 프레임 또는 다음 프레임에 기반하여 다른 시각의 프레임 내 흐릿한 부분을 보정하고, 보정된 프레임을 최적 프레임으로 획득할 수도 있다. 다양한 실시예에서 3차원 이미지 렌더링 장치(200)는 다른 시각의 프레임의 이전 프레임 또는 다음 프레임 중 선명도가 높고, 다른 시각의 프레임과의 픽셀차가 임계치 이하인 프레임을 최적 프레임으로 획득할 수 있다. 이와 같이 최적 프레임을 획득하는 방식은 다양할 수 있으며, 상술한 바와 같이 한정되지 않는다. 3차원 이미지 렌더링 장치(200)는 다른 시각에 대응하여 동영상별로 획득된 최적 프레임 및 위치 정보에 기반하여 두번째 3차원 이미지를 생성할 수 있다.
3차원 이미지 렌더링 장치(200)는 이와 같이 생성된 복수의 3차원 이미지들을 시계열적으로 배열하고, 시계열적으로 배열된 복수의 3차원 이미지들 각각을 이용하여 3차원 동영상을 생성할 수 있다. 구체적으로, 3차원 이미지 렌더링 장치(200)는 생성된 3차원 이미지들 각각으로부터 3차원 객체를 인식하고, 인식된 3차원 객체들 사이의 움직임을 보간 방식을 이용하여 추정할 수 있다. 예를 들어, 피사체가 사람이고, 첫번째 3차원 이미지가 피사체가 팔짱을 낀 모습을 나타내며, 두번째 3차원 이미지가 피사체가 바지 주머니에 손을 넣은 모습을 나타내는 경우 3차원 이미지 렌더링 장치(200)는 피사체가 팔짱을 낀 모습과 피사체가 바지 주머니에 손을 넣은 모습 사이의 움직임을 보간 방식을 이용하여 예측할 수 있다. 3차원 이미지 렌더링 장치(200)는 피사체가 팔짱을 낀 모습에 해당하는 3차원 객체의 특징점들 및 피사체가 바지 주머니에 손을 넣은 모습에 해당하는 3차원 객체의 특징점들을 산출하고, 보간 방식을 이용하여 피사체가 팔짱을 낀 모습에 대응하여 산출된 특징점들과 피사체가 바지 주머니에 손을 넣은 모습에 대응하여 산출된 특징점들 사이에 위치한 값들을 추정할 수 있다. 예를 들어, 보간 방식은 선형 보간법을 포함할 수 있으나, 이에 한정되지 않으며, 특징점들 사이에 위치한 값들을 추정하기 위한 다양한 방식이 이용될 수 있다. 이와 같이 추정된 값들을 이용하여 3차원 이미지 렌더링 장치(200)는 피사체가 팔짱을 낀 모습과 피사체가 바지 주머니에 손을 넣은 모습 사이의 움직임을 나타내는 3차원 동영상을 생성할 수 있다.
제시된 실시예에서는 3차원 이미지 렌더링 장치(200)가 특정 시각에 대응하여 선택된 제1 세트의 프레임들을 이용하여 첫번째 3차원 이미지를 생성하고, 다른 시각에 대응하여 선택된 제2 세트의 프레임들을 이용하여 두번째 3차원 이미지를 생성한 후 생성된 제1 및 두번째 3차원 이미지들을 이용하여 3차원 동영상을 생성하는 과정을 설명하였으나, 이에 한정되지 않고, 둘 이상의 다양한 시각에 해당하는 프레임들을 이용할 수 있다.
다양한 실시예에서 3차원 이미지 렌더링 장치(200)는 복수의 촬영 장치들(120) 각각이 촬영한 동영상 중 적어도 일부를 이루는 프레임들을 이용하여 3차원 동영상을 생성할 수도 있다. 예를 들어, 3차원 이미지 렌더링 장치(200)는 복수의 가이더들(110)에 배치된 30개의 촬영 장치들이 촬영한 30개의 동영상을 수신할 수 있다. 3차원 이미지 렌더링 장치(200)는 30개의 동영상별로 제1 시각, 제2 시각, …제n 시각에 대응하는 프레임을 선택하여 제1 시각에 관련된 제1 세트의 프레임들, 제2 시각에 관련된 제2 세트의 프레임들, …제n 시각에 관련된 제n 세트의 프레임들을 선택할 수 있다. 이때, n은 자연수이다. 이러한 경우 3차원 이미지 렌더링 장치(200)는 제1 시각에 관련된 제1 세트의 프레임들, 제2 시각에 관련된 제2 세트의 프레임들, …제n 시각에 관련된 제n 세트의 프레임들 각각을 이용하여 제1 시각에 관련된 3차원 이미지, 제2 시각에 관련된 3차원 이미지, …제n 시각에 관련된 3차원 이미지를 생성하고, 제1 시각에 관련된 3차원 이미지, 제2 시각에 관련된 3차원 이미지, …제n 시각에 관련된 3차원 이미지가 시계열적으로 배열된 하나의 3차원 동영상을 생성할 수도 있다.
제시된 실시예에서 3차원 이미지 렌더링 장치(200)는 하나의 장치로 구현되는 것으로 기재하였으나, 이에 한정되지 않으며, 복수의 장치들로 구현되어 복수의 장치들 각각이 복수의 동영상들을 이용한 3차원 이미지 렌더링 동작 또는 3차원 동영상 생성 동작을 분산 처리할 수도 있다.
이를 통해서 본 발명은 복수의 촬영 장치들을 통해 촬영된 동영상을 이용하여 복수의 3차원 이미지들을 생성하고, 복수의 3차원 이미지들을 이용하여 3차원 동영상을 생성함으로써, 모션 캡쳐를 위한 별도의 장비들을 구비하지 않으므로, 3차원 동영상 생성을 위한 비용을 최소화하면서 쉽고 간단하게 3차원 동영상을 생성할 수 있다.
도 2는 본 발명의 실시예에 따른 3차원 이미지 렌더링 장치를 설명하기 위한 개략도이다.
도 2를 참조하면, 3차원 이미지 렌더링 장치(200)는 통신부(210), 표시부(220), 저장부(230), 입력부(240) 및 프로세서(250)를 포함하고, 프로세서(250)는 그래픽 모듈(255)을 더 포함할 수 있다.
통신부(210)는 3차원 이미지 렌더링 장치(200)가 외부 장치와 통신이 가능하도록 연결한다. 통신부(210)는 유/무선 통신을 이용하여 복수의 촬영 장치들(120)과 연결되거나, 복수의 촬영 장치들(120)의 동작을 제어하는 제어 모듈과 연결되어 다양한 정보를 송수신할 수 있다. 다양한 실시예에서 통신부(210)는 허브 장치와 연결되어 허브 장치를 통해 복수의 촬영 장치들(120) 또는 제어 모듈로부터 다양한 정보를 송수신할 수 있다. 구체적으로, 통신부(210)는 복수의 촬영 장치들(120)이 피사체를 촬영한 복수의 동영상들을 요청하기 위한 입력 데이터를 복수의 촬영 장치들(120) 또는 제어 모듈로 전달할 수 있다. 통신부(210)는 복수의 촬영 장치들(120) 또는 제어 모듈로부터 복수의 촬영 장치들(120)이 피사체를 촬영한 복수의 동영상들을 수신할 수 있다. 다양한 실시예에서 통신부(210)는 복수의 동영상들과 함께 식별 정보 또는 위치 정보를 더 수신할 수 있다.
표시부(220)는 사용자에게 각종 콘텐트(예: 텍스트, 이미지, 비디오, 아이콘, 배너 또는 심볼 등)를 표시할 수 있다. 예를 들어, 표시부(220)는 동영상, 3차원 이미지 또는 3차원 동영상에 관련된 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시할 수 있다. 구체적으로, 표시부(220)는 동영상을 표시하거나, 동영상의 프레임들을 표시하거나, 프레임들의 선택 및 3차원 렌더링을 위한 인터페이스를 표시할 수 있다.
저장부(230)는 동영상을 이용하여 3차원 이미지를 렌더링하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 구체적으로, 저장부(230)는 복수의 촬영 장치들(120)이 촬영한 복수의 동영상들을 저장할 수 있다. 다양한 실시예에서 저장부(230)는 복수의 촬영 장치들(120) 각각의 식별 정보를 저장하거나, 식별 정보에 대응하여 각 촬영 장치가 배치된 가이더의 위치 및 해당 가이더에 배치된 촬영 장치의 높이 등을 나타내는 위치 정보를 저장할 수 있다. 다양한 실시예에서 저장부(230)는 3차원 이미지 및/또는 3차원 동영상을 렌더링하기 위한 프로그램 등을 저장할 수도 있다.
입력부(240)는 사용자가 3차원 이미지 렌더링 장치(200)의 동작 제어를 위한 입력 데이터를 발생시킬 수 있다. 예를 들어, 입력부(240)는 복수의 촬영 장치(240)는 복수의 촬영 장치들(120)이 피사체를 촬영한 복수의 동영상들을 요청하기 위한 입력 데이터를 발생시킬 수 있다. 입력부(240)는 키 패드(key pad), 돔 스위치(domeswitch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
프로세서(250)는 통상적으로 3차원 이미지 렌더링 장치(200)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(250)는 데이터의 처리나 처리된 데이터를 표시하기 위한 관련된 제어 및 처리를 수행할 수 있다. 프로세서(250)는 병렬 데이터 처리를 위한 그래픽 모듈(255)을 구비할 수도 있다. 그래픽 모듈(255)은 제어부(250) 내에 구현될 수도 있고, 제어부(250)와 별도로 구현될 수도 있다.
프로세서(250)는 복수의 촬영 장치들(120)이 촬영한 동영상들을 수신하고, 수신된 동영상들 각각을 이루는 프레임들 중 특정 시각에 해당하는 제1 세트의 프레임들을 선택하고, 선택된 제1 세트의 프레임들을 이용하여 3차원 이미지를 생성할 수 있다. 구체적으로, 프로세서(250)는 복수의 촬영 장치들(120) 각각으로부터 동영상을 수신하거나, 제어 모듈을 통해 복수의 촬영 장치들(120)이 촬영한 복수의 동영상들을 수신할 수 있다. 프로세서(250)는 수신된 복수의 동영상들 각각을 이루는 복수의 프레임들 중 제1 시각에 해당하는 제1 세트의 프레임들을 선택할 수 있다. 예를 들어, 수신된 동영상이 30개인 경우 30개의 동영상 각각에서 제1 시각에 해당하는 30개의 프레임을 선택할 수 있다. 프로세서(250)는 선택된 제1 세트의 프레임들 각각이 3차원 이미지를 생성하기 위해 적합한 최적 프레임인지를 확인할 수 있다. 여기서, 최적 프레임은 선명도가 높은 프레임일 수 있다. 최적 프레임인지를 확인하기 위해 프로세서(250)는 제1 세트의 프레임들 각각의 선명도 값을 산출하고, 산출된 선명도 값이 임계 선명도 값 이상인 경우 해당 프레임을 선명도가 높은 프레임으로 판단할 수 있다. 프로세서(250)는 제1 세트의 프레임들 중 최적 프레임이 아닌 프레임이 존재하면 최적 프레임을 획득하기 위한 다양한 방식을 이용할 수 있다. 여기서, 최적 프레임이 아닌 프레임은 선명도가 낮은 프레임, 흐릿한 부분을 포함하는 프레임 또는 블랙 아웃된 프레임 등일 수 있다. 최적 프레임을 획득하기 위한 다양한 방식은 선명도를 높이기 위해 제1 시각에 해당하는 프레임의 에지 강도를 높이는 이미지 처리를 수행하는 방식, 제1 시각에 해당하는 프레임의 색상값, 채도값 또는 휘도값을 높이는 이미지 처리를 수행하는 방식, 제1 시각에 해당하는 프레임에 흐릿한 부분이 포함되는 경우 제1 시각에 해당하는 프레임의 이전 프레임 또는 다음 프레임을 이용하여 흐릿한 부분을 보정하는 방식 또는 특정 시각의 프레임의 이전 프레임 또는 다음 프레임 중 선명도가 높고, 제1 시각의 프레임과의 픽셀차가 임계치 이하인 프레임을 선택하는 방식 등을 포함할 수 있다. 이러한 방식을 통해 프로세서(250)는 제1 시각에 해당하는 최적 프레임을 획득하고, 획득된 최적 프레임을 포함하는 제1 세트의 프레임들을 이용하여 첫번째 3차원 이미지를 생성할 수 있다.
프로세서(250)는 수신된 동영상들 각각을 이루는 프레임들 중 특정 시각과 다른 시각에 해당하는 제2 세트의 프레임들을 선택하고, 선택된 제2 세트의 프레임들을 이용하여 3차원 이미지를 생성할 수 있다. 구체적으로, 프로세서(250)는 수신된 복수의 동영상들 각각을 이루는 복수의 프레임들 중 제2 시각에 해당하는 제2 세트의 프레임들을 선택할 수 있다. 예를 들어, 수신된 동영상이 30개인 경우 30개의 동영상 각각에서 제2 시각에 해당하는 30개의 프레임을 선택할 수 있다. 프로세서(250)는 선택된 제2 세트의 프레임들 각각이 3차원 이미지를 생성하기 위해 적합한 최적 프레임인지를 확인할 수 있다. 선택된 제2 세트의 프레임들 각각이 최적 프레임인 경우 프로세서(250)는 제2 세트의 프레임들을 이용하여 두번째 3차원 이미지를 생성할 수 있다. 선택된 제2 세트의 프레임들 중 최적 프레임이 아닌 프레임이 존재하면 프로세서(250)는 상술한 바와 같이 최적 프레임을 획득하기 위한 다양한 방식을 이용할 수 있다. 최적 프레임이 획득되면 프로세서(250)는 획득된 최적 프레임을 포함하는 제2 세트의 프레임들을 이용하여 두번째 3차원 이미지를 생성할 수 있다.
프로세서(250)는 생성된 첫번째 및 두번째 3차원 이미지들을 이용하여 3차원 동영상을 생성할 수 있다. 구체적으로, 프로세서(250)는 첫번째 및 두번째 3차원 이미지들을 시계열적으로 배열하고, 시계열적으로 배열된 첫번째 및 두번째 3차원 이미지들 각각으로부터 3차원 객체를 인식할 수 있다. 프로세서(250)는 인식된 3차원 객체들 사이의 움직임을 보간 방식을 이용하여 추정하고, 추정된 움직임을 나타내는 3차원 동영상을 생성할 수 있다. 예를 들어, 프로세서(250)는 3차원 객체들 각각의 복수의 특징점들을 산출하고, 산출된 복수의 특징점들 사이에 위치한 제1 값들을 추정할 수 있다. 프로세서(250)는 복수의 특징점들 각각과 추정된 제1 값들 사이에 위치한 제2 값들을 추정하고, 복수의 특징점들 각각과 추정된 제2 값들 사이에 위치한 제3 값들을 추정하는 등의 방식으로 3차원 객체들 사이에 위치하는 값들을 추정할 수 있다. 이와 같이 추정된 값들을 이용하여 프로세서(250)는 첫번째 및 두번째 3차원 이미지 사이의 움직임을 나타내는 3차원 동영상을 생성할 수 있다.
도 3은 본 발명의 실시예에 따른 3차원 이미지 렌더링 장치에서 동영상을 이용하여 3차원 이미지를 렌더링하는 방법을 설명하기 위한 개략적인 순서도이다.
도 1 및 도 3을 참조하면, 3차원 이미지 렌더링 장치(200)는 복수의 촬영 장치들(120)로부터 피사체(TS)를 서로 다른 방향에서 촬영한 복수의 동영상들을 수신한다(S300). 3차원 이미지 렌더링 장치(200)는 복수의 동영상들 각각을 구성하는 프레임들 중 특정 시각에 해당하는 제1 세트의 프레임들을 선택한다(S310). 3차원 이미지 렌더링 장치(200)는 선택된 제1 세트의 프레임들을 이용하여 3차원 이미지를 생성한다(S320).
도 4는 본 발명의 실시예에 따른 3차원 이미지 렌더링 장치에서 3차원 이미지를 이용하여 3차원 동영상을 생성하기 위한 방법을 설명하기 위한 개략적인 순서도이다.
도 1 및 도 4를 참조하면, 3차원 이미지 렌더링 장치(200)는 복수의 촬영 장치들(120)로부터 피사체(TS)를 서로 다른 방향에서 촬영한 복수의 동영상들을 수신한다(S400). 3차원 이미지 렌더링 장치(200)는 복수의 동영상들 각각을 구성하는 프레임들 중 특정 시각에 해당하는 제1 세트의 프레임들을 선택한다(S410). 3차원 이미지 렌더링 장치(200)는 선택된 제1 세트의 프레임들을 이용하여 첫번째 3차원 이미지를 생성한다(S420). 3차원 이미지 렌더링 장치(200)는 복수의 동영상들 각각을 구성하는 프레임들 중 특정 시각과 다른 시각에 해당하는 제2 세트의 프레임들을 선택한다(S430). 3차원 이미지 렌더링 장치(200)는 선택된 제2 세트의 프레임들을 이용하여 두번째 3차원 이미지를 생성한다(S440). 3차원 이미지 렌더링 장치(200)는 생성된 첫번째 및 두번째 3차원 이미지들을 이용하여 3차원 동영상을 생성한다(S450).
하기에서는 복수의 촬영 장치들(120)을 통해서 촬영된 복수의 동영상들 이용하여 복수의 3차원 이미지들을 생성하고, 생성된 복수의 3차원 이미지들을 이용하여 3차원 동영상을 생성하기 위한 방법에 대해서 도 5 내지 도 7을 참조하여 보다 상세하게 설명하도록 한다.
도 5는 본 발명의 실시예에 따른 3차원 이미지 렌더링 장치에서 3차원 이미지를 생성하기 위해 특정 시각에 해당하는 최적 프레임을 획득하는 방법을 설명하기 위한 예시도이다.
도 1 및 도 5를 참조하면, 3차원 이미지 렌더링 장치(200)는 복수의 촬영 장치들(120)을 통해서 촬영된 제1 동영상(500) 및 제2 동영상(210)을 획득할 수 있다. 획득된 제1 동영상(500) 및 제2 동영상(210)은 복수의 프레임들이 시계열적으로 배열될 수 있다. 특정 시각에 해당하는 3차원 이미지를 생성하기 위해 3차원 이미지 렌더링 장치(200)는 제1 동영상(500)을 구성하는 복수의 프레임들 중 시각 t2에 해당하는 제1 프레임(502)을 선택하고, 제2 동영상(510)을 구성하는 복수의 프레임들 중 동일 시각 t2에 해당하는 제2 프레임(512)을 선택할 수 있다. 3차원 이미지 렌더링 장치(200)는 선택된 제1 프레임(502)과 제2 프레임(512)이 최적 프레임인지를 판단하고, 선택된 제1 프레임(502)과 제2 프레임(512)이 최적 프레임인 경우 선택된 제1 프레임(502)과 제2 프레임(512)을 이용하여 첫번째 3차원 이미지를 생성할 수 있다. 선택된 제1 프레임(502)이 최적 프레임이 아닌 경우 3차원 이미지 렌더링 장치(200)는 제1 프레임(502)의 선명도를 높이기 위한 이미지 처리를 수행할 수 있다. 다양한 실시예에서 선택된 제1 프레임(502)의 적어도 일부가 흐릿한 경우 3차원 이미지 렌더링 장치(200)는 제1 프레임(502)의 이전 프레임인 제3 프레임(504)을 이용하여 흐릿한 적어도 일부가 선명하도록 보정할 수도 있다. 다양한 실시예에서 3차원 이미지 렌더링 장치(200)는 제1 프레임(502)과 제3 프레임(504)의 픽셀차를 산출하고, 산출된 픽셀차가 임계치 이하인 경우 3차원 이미지 렌더링 장치(200)는 제3 프레임(504)을 3차원 이미지를 생성하기 위해 사용되는 최적 프레임으로 선택할 수 있다. 이와 같이 복수의 촬영 장치들(120) 각각에 대응하여 획득된 최적 프레임은 도 6과 같은 인터페이스 화면을 통해서 표시될 수 있다.
도 6은 본 발명의 실시예에 따른 복수의 촬영 장치들 각각의 위치별 획득된 프레임을 나타내는 인터페이스 화면의 예시도이다.
도 6을 참조하면, 3차원 이미지 렌더링 장치(200)는 복수의 촬영 장치들(120) 각각에서 촬영된 동영상을 구성하는 프레임들 중 획득된 최적 프레임을 나타내는 인터페이스 화면(600)을 표시부(220)를 통해 표시할 수 있다. 인터페이스 화면(600)은 피사체(TS)를 중심으로 복수의 촬영 장치들(120) 각각의 위치를 나타내는 그래픽 객체가 포함된 제1 영역(610) 및 각 위치에서 획득된 최적 프레임을 나타내는 그래픽 객체가 포함된 제2 영역(620)을 포함할 수 있다. 이와 같이 획득된 최적 프레임들을 이용하여 3차원 이미지 렌더링 장치(200)는 시각 t2에 해당하는 첫번째 3차원 이미지를 생성할 수 있다. 예를 들어, 3차원 이미지 렌더링 장치(200)는 시각 t2에 해당하는 최적 프레임들을 이용하여 3차원 모델을 생성하고, 생성된 3차원 모델에 텍스처를 매핑하여 피사체 형상의 3차원 이미지를 생성할 수 있다. 여기서, 텍스처는 각 방향에 따른 최적 프레임들을 이용하여 생성될 수 있다. 이에 대해서 도 7a 및 도 7b를 참조하여 보다 상세하게 설명하도록 한다.
도 7a 및 도 7b는 본 발명의 실시예에 따른 3차원 이미지 렌더링 장치를 통해 생성된 3차원 모델 및 3차원 이미지를 나타내는 인터페이스의 예시도들이다.
도 1 및 도 7a를 참조하면, 3차원 이미지 렌더링 장치(200)는 제1 시각(예: 도 5의 시각 t2)에 대응하여 획득된 제1 세트의 프레임들을 이용하여 첫번째 3차원 모델을 생성하고, 제2 시각(예: 도 5의 시각 t6)에 대응하여 획득된 제2 세트의 프레임들을 이용하여 두번째 3차원 모델을 생성(예: 모델링)할 수 있다. 3차원 이미지 렌더링 장치(200)는 이와 같이 생성된 첫번째 3차원 모델(710) 및 두번째 3차원 모델(720)을 나타내는 인터페이스 화면(700)을 표시부(220)를 통해서 표시할 수 있다. 제1 세트의 프레임들 및 제2 세트의 프레임들 각각을 이용하여 3차원 모델을 생성하기 위해 다양한 방식이 이용될 수 있다. 예를 들어, 3차원 이미지 렌더링 장치(200)는 피사체의 방향별 프레임들을 배열하고, 각 프레임 내 피사체에 관한 특징점들을 추출할 수 있다. 3차원 이미지 렌더링 장치(200)는 추출된 특징점들을 이용하여 3차원 모델링을 통해 3차원 모델을 생성할 수 있다. 3차원 모델을 생성하는 방식은 제시된 실시예로 한정되지 않으며, 3차원 모델을 생성하기 위한 다양한 방식이 이용될 수 있다.
도 1 및 도 7b를 참조하면, 3차원 이미지 렌더링 장치(200)는 도 7a와 같이 생성된 3차원 그래픽 모델들(710, 720) 각각에 텍스처를 매핑하여 3차원 이미지들(730, 740)을 생성할 수 있다. 3차원 그래픽 객체들(710, 720) 각각에 매핑되는 텍스처는 제1 세트의 프레임들 또는 제2 세트의 프레임들이 이용될 수 있다. 예를 들어, 3차원 이미지 렌더링 장치(200)는 3차원 모델을 구성하는 3차원 메시들 각각의 정점들과 각 정점에 대응하는 프레임별 픽셀들을 매핑하여 텍스처 매핑을 수행할 수 있다. 3차원 이미지 렌더링 장치(200)는 이와 같이 텍스처 매핑을 통해서 생성된 첫번째 3차원 이미지(730) 및 두번째 3차원 이미지(740)를 나타내는 인터페이스 화면(800)을 표시부(220)를 통해서 표시할 수 있다.
이와 같이 첫번째 3차원 이미지(730) 및 두번째 3차원 이미지(740)가 생성되면 3차원 이미지 렌더링 장치(200)는 첫번째 3차원 이미지(730)에서 피사체에 관한 첫번째 3차원 객체(732)를 인식하고, 인식된 첫번째 3차원 객체(732)에 대한 복수의 특징점들을 추출할 수 있다. 3차원 이미지 렌더링 장치(200)는 두번째 3차원 이미지(740)에서 피사체에 관한 두번째 3차원 객체(742)를 인식하고, 인식된 두번째 3차원 객체(742)에 대한 복수의 특징점들을 추출할 수 있다. 3차원 이미지 렌더링 장치(200)는 보간 방식을 이용하여 첫번째 3차원 객체(732)에 관련하여 추출된 복수의 특징점들과 두번째 3차원 객체(742)에 관련하여 추출된 복수의 특징점들 사이의 위치하는 값들을 추정하고, 추정된 값들을 이용하여 첫번째 3차원 이미지(730)와 두번째 3차원 이미지(740) 사이의 3차원 이미지들을 생성할 수 있다. 예를 들어, 첫번째 3차원 이미지(730)에서 인식된 첫번째 3차원 객체(732)가 팔짱을 낀 사람의 형상을 가지고, 두번째 3차원 이미지(740)에서 인식된 두번째 3차원 객체(742)가 바지 주머니에 손을 넣은 사람의 형상을 가지는 경우 생성된 3차원 이미지들은 팔짱을 낀 사람이 팔짱을 낀 손을 바지 주머니로 이동하여 바지 주머니에 손을 넣는 움직임에 대응될 수 있다. 3차원 이미지 렌더링 장치(200)는 이와 같이 생성된 3차원 이미지들, 첫번째 3차원 이미지(730) 및 두번째 3차원 이미지(740)를 시계열적으로 배열한 3차원 동영상을 생성할 수 있다. 이와 같이 생성되는 3차원 동영상은 팔짱을 낀 사람이 팔짱을 낀 손을 바지 주머니로 이동하여 바지 주머니에 손을 넣는 움직임을 나타내는 동영상일 수 있다.
이와 같이 본 발명은 복수의 촬영 장치들을 통해 촬영된 동영상을 이용하여 복수의 3차원 이미지들을 생성하고, 복수의 3차원 이미지들을 이용하여 3차원 동영상을 생성함으로써, 모션 캡쳐를 위한 별도의 장비들을 구비하지 않으므로, 3차원 동영상 생성을 위한 비용을 최소화하면서 쉽고 간단하게 3차원 동영상을 생성할 수 있다.
제시된 실시예에서는 복수의 촬영 장치들이 배치된 부스를 이용하여 3차원 이미지 및 3차원 동영상을 생성하는 과정을 설명하였으나, 이에 한정되지 않으며, 하나의 촬영 장치를 이용하여 3차원 이미지 및 3차원 동영상을 생성할 수 도 있다. 예를 들어, 피사체를 촬영하는 동영상이 모바일 디바이스를 통해 획득될 수 있다. 획득된 동영상은 3차원 이미지로 렌더링할 모든 부분을 포함하도록 촬영될 수 있다. 예를 들어, 모바일 디바이스는 피사체의 머리 주위를 360도로 회전하여, 피사체의 머리 전체 부분이 포함되도록 촬영될 수 있다. 모바일 디바이스는 촬영된 동영상을 3차원 이미지를 렌더링하는 3차원 이미지 렌더링 장치(200)로 전송할 수 있다. 모바일 디바이스는 가속도 센서, 근접 센서, 각도 센서 등의 움직임과 연관된 센서를 포함할 수 있다. 모바일 디바이스는 동영상 전송과 함께, 동영상이 촬영된 시각의 움직임과 연관된 센서값을 3차원 이미지 렌더링 장치(200)로 전송할 수 있다. 다양한 실시예에서 피사체는 중앙에 위치되고, 피사체를 촬영하기 위한 촬영 장비가 일정한 높이를 가지는 지지부 위에 안착되고, 지지부는 회전 구동부에 연결될 수 있다. 회전 구동부는 중앙의 피사체를 기준으로 360도를 돌도록 구성되어, 촬영 장비가 중앙의 피사체의 모든 부분을 촬영하도록 구성될 수 있다. 촬영된 동영상은 3차원 이미지 렌더링 장치(200)로 전송될 수 있다. 이 때, 촬영 장치의 높이와 같은 위치 정보도 함께 전송될 수도 있다.
3차원 이미지 렌더링 장치(200)는 모바일 디바이스 또는 촬영 장치로부터 복수의 프레임들을 포함하는 동영상을 수신하고, 복수의 프레임들 중 3차원 이미지 획득에 사용할 프레임을 선택할 수 있다. 프레임의 선택의 기준은 제한되지 않으나, 예시적으로, 블랙 아웃된 프레임이나 손떨림 등에 의한 블러리한 프레임은 제외될 수 있다. 3차원 이미지 렌더링에 사용할 최적 프레임을 선택하는 방식은 렌더링 이전 획득된 3차원 이미지를 기반으로 하는 방식일 수 있다. 이에 따라,　3차원 이미지 렌더링 장치(200)는 렌더링 방식에 적합한 2차원 이미지인 프레임을 선택할 수 있다. 최적화된 렌더링 알고리즘을 적용하여 렌더링 성공률을 높일 수 있는 이미지가 추출될 수 있다. RGB, XY 좌표 값 등이 유효범위 내 시간에서 추출될 수 있으며, 이전에 렌더링된 데이터에 기초하여 공간 데이터나 색 데이터가 추측되거나 예측될 수도 있다. 예를 들어, 3차원 이미지 렌더링 장치(200)는 렌더링에 필수 요소 값들, 특정 위치에서의 이미지인지를 추측하여 프레임을 선택할 수 있다. 예컨대, 정면에서의 사진, 측면, 후면, 45도, 60도 각도에서의 프레임들이 선택될 수 있다. 3차원 이미지 렌더링 장치(200)는 선택된 프레임을 기초로 3차원 이미지를 렌더링할 수 있다. 렌더링된 3차원 이미지는 게임이나 엔터테인먼트 장치에서 사용될 수 있으며, 3차원 프린팅을 위한 파일로 사용될 수도 있다.
다양한 실시예에서 다수의 동영상 촬상 장치 활용 시　모션 캡쳐가 구현될 수 있다. 3차원 이미지 렌더링 장치(200)는 위치 고정된 다수의 동영상 디바이스를 통해 동적 피사체 촬영 시 움직임별 프레임 단위를 추출하여 렌더링하면　3차원 파일을 연속으로 획득할 수 있다. 이는　기존 3차원 파일 획득 후 리깅, 모션캡쳐 등의 방법을 통한 것 대비 높은 생산성을 획득할 수 있다.
이를 구현하기 위해서 3차원 이미지 렌더링 장치(200)는 동시적 범위로 규정할 수 있는 움직이는 단위별 프레임을 그룹핑하여 렌더링할 수 있다. 3차원 이미지 렌더링 장치(200)는 시간(Time)값을 기본으로 하여 동시촬영의 기준이 별도로 제시할 수 있다. 동시촬영의 기준을 정하기 위해 3차원 이미지 렌더링 장치(200)는 프레임 상의 미묘한 차이를 구분하여 서로 동일하거나 서로 다른 프레임으로 결정할 수 있다. 예를 들어, 3차원 이미지 렌더링 장치(200)는 직전 프레임과 현재 프레임의 시간을 비교하여 초단위로 일정 범위 시간 내에 획득된 프레임들을 동시 촬영으로 간주할 수 있다. 또한, 3차원 이미지 렌더링 장치(200)는 직전 프레임과 현재 프레임을 구분하기 위해 각 프레임의 좌표 값, 예를 들어, 오른쪽으로 몇 픽셀 이동(예: left 5px) 이상이면 움직였다고 판단하여 직전 프레임과 현재 프레임을 서로 다른 프레임으로 결정할 수 있다. 또는, 3차원 이미지 렌더링 장치(200)는 프레임당 파일 사이즈 값의 차이 또는 프레임 내 특정 지점에서의 RGB값의 변동을 기초로 직전 프레임과 현재 프레임 간의 일치 또는 다름 여부를 결정할 수 있다. 이러한 사진들을 기초로 3차원 이미지 렌더링 장치(200)는 3차원 이미지를 렌더링하여 실질적으로 모션 캡쳐에 근접한 3차원 이미지들을 생성할 수 있다.
다양한 실시예에서 피사체를 촬영하기 위한 복수의 촬영 장치들이 동영상을 촬영할 수 있도록 구성될 수 있다. 복수의 촬영 장치들의 수는 제한되지 않는다. 촬영 장치들 중앙에 피사체가 배치될 수 있다. 피사체는 회전 구동부 위에 배치될 수 있다. 회전 구동부는 피사체를 회전시켜 피사체의 모든 부분을 동영상으로 촬영할 수 있도록 할 수 있다. 회전 구동부는 피사체를 배치할 지지부와 회전을 위한 모터 등을 포함할 수 있다. 회전 구동부의 형상은 제한되지 않는다. 촬영 장치 각각은 촬영된 동영상을 3차원 이미지 렌더링 장치(200)로 전송할 수 있다. 피사체를 촬영하기 위한 촬영 장치들은 일정한 높이를 가지는 지지부 위에 안착되고, 지지부는 고정될 수 있다. 촬영 장치의 높이와 같은 위치 정보가 동영상과 함께 전송될 수도 있다.
3차원 이미지 렌더링 장치(200)는 복수의 촬영 장치들 각각으로부터 복수의 프레임들을 포함하는 동영상을 수신하고, 복수의 프레임들 중에서 3차원 이미지 획득에 사용할 프레임을 선택할 수 있다. 3차원 이미지 렌더링 장치(200)는 3차원 이미지 렌더링에 사용할 최적 프레임을 선택하기 위해 렌더링 이전 획득된 3차원 이미지를 기반으로 하는 방식일 수 있다. 이에 따라,　3차원 이미지 렌더링 장치(200)는 렌더링 방식에 적합한 2차원 이미지인 프레임을 선택할 수 있다. 3차원 이미지 렌더링 장치(200)는 최적화된 렌더링 알고리즘을 적용하여 렌더링 성공률을 높일 수 있는 이미지를 추출할 수 있다. 3차원 이미지 렌더링 장치(200)는 선택된 프레임을 기초로 3차원 이미지를 렌더링할 수 있다.
다양한 실시예에서, 다수의 동영상 촬상 장치 활용 시　모션 캡쳐가 구현될 수 있다. 위치 고정된 다수의 동영상 디바이스를 통해 동적 피사체 획득 시 3차원 이미지 렌더링 장치(200)는 움직임별 프레임 단위를 추출하고, 이를 렌더링하여 3차원 이미지를 연속으로 획득할 수 있다.
이와 같이 본 발명은 동영상 촬영 시 구성되는 프레임을 활용하여 최적의 이미지를 추출한 후 이를 렌더링하여 3차원 이미지를 생성함으로써, 멀티카메라 수준의 화상 정보 획득을 용이하게 하며 무엇보다 사용자 입장에서 촬영이 용이한 장점이 있다.
본 발명의 실시예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 부스
110: 복수의 가이더들
120: 복수의 촬영 장치들
200: 3차원 이미지 렌더링 장치
1000: 3차원 이미지 렌더링 시스템
TS: 피사체

Claims (14)

  1. 통신부;
    저장부; 및
    상기 통신부 및 상기 저장부와 동작 가능하게 연결되는 프로세서를 포함하고,
    상기 프로세서는,
    상기 통신 인터페이스를 통해서 복수의 촬영 장치들로부터 피사체를 동시에 서로 다른 방향에서 촬영한 복수의 동영상들을 수신하고,
    상기 복수의 동영상들 각각을 구성하는 프레임들 중 특정 시각에 해당하는 제1 세트의 프레임들을 선택하고,
    상기 선택된 제1 세트의 프레임들을 이용하여 첫번째 3차원 이미지를 생성하고,
    상기 복수의 동영상들 각각을 구성하는 프레임들 중 상기 특정 시각과 다른 시각에 해당하는 제2 세트의 프레임들을 선택하고,
    상기 선택된 제2 세트의 프레임들을 이용하여 상기 생성된 첫번째 3차원 이미지와 또 다른 두번째 3차원 이미지를 생성하고,
    상기 첫번째 및 두번째 3차원 이미지들로부터 3차원 객체들을 인식하고,
    상기 인식된 3차원 객체들 사이의 움직임을 추정하고,
    상기 추정된 움직임을 기반으로 상기 첫번째 및 두번째 3차원 이미지들 사이의 움직임을 나타내는 3차원 동영상을 생성하도록 구성되고,
    상기 프로세서는,
    상기 선택된 제1 세트의 프레임들 각각이 상기 첫번째 3차원 이미지를 생성하기 위해 사용되는 최적 프레임인지 판단하고,
    상기 제1 세트의 프레임들 각각이 상기 최적 프레임으로 판단되면,
    상기 선택된 제1 세트의 프레임들을 이용하여 상기 첫번째 3차원 이미지를 생성하고,
    상기 제1 세트의 프레임들 중 적어도 일부가 상기 최적 프레임으로 판단되지 않으면,
    상기 적어도 일부의 프레임에 대하여 선명도, 채도값 또는 휘도값을 높이기 위한 이미지 처리를 수행하고, 이미지 처리된 프레임을 최적 프레임으로 선택하고, 이전 프레임 또는 다음 프레임에 기반하여 특정 시각의 프레임 내 흐릿한 부분을 보정하고, 보정된 프레임을 최적 프레임으로 선택하며, 이전 프레임 또는 다음 프레임 중 선명도가 높고, 특정 시각의 프레임과의 픽셀차가 임계치 이하인 프레임을 최적 프레임으로 선택하고, 선택된 제1 세트의 프레임을 이용하여 상기 첫번째 3차원 이미지를 생성하도록 더 구성된, 동영상을 이용하여 3차원 이미지를 렌더링하는 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 프로세서는,
    상기 복수의 동영상들에 대한 시간 동기화를 수행하고, 상기 시간 동기화된 복수의 동영상들을 이용하여 상기 첫번째 및 두번째 3차원 이미지들을 생성하도록 더 구성된, 동영상을 이용하여 3차원 이미지를 렌더링하는 장치.
  5. 삭제
  6. 제1항에 있어서, 상기 최적 프레임은,
    선명도가 높은 프레임이고,
    상기 프로세서는, 상기 선택된 제1 세트의 프레임들 각각에 대한 선명도 값을 산출하고, 상기 산출된 선명도 값이 기 설정된 임계 선명도 값 이상이면 상기 선명도가 높은 프레임으로 판단하도록 더 구성된, 동영상을 이용하여 3차원 이미지를 렌더링하는 장치.
  7. 삭제
  8. 복수의 촬영 장치들로부터 피사체를 동시에 서로 다른 방향에서 촬영한 복수의 동영상들을 수신하는 단계;
    상기 복수의 동영상들 각각을 구성하는 프레임들 중 특정 시각에 해당하는 제1 세트의 프레임들을 선택하는 단계;
    상기 선택된 제1 세트의 프레임들을 이용하여 첫번째 3차원 이미지를 생성하는 단계;
    상기 복수의 동영상들 각각을 구성하는 프레임들 중 상기 특정 시각과 다른 시각에 해당하는 제2 세트의 프레임들을 선택하는 단계;
    상기 선택된 제2 세트의 프레임들을 이용하여 상기 생성된 첫번째 3차원 이미지와 또 다른 두번째 3차원 이미지를 생성하는 단계;
    상기 첫번째 및 두번째 3차원 이미지들로부터 3차원 객체들을 인식하는 단계;
    상기 인식된 3차원 객체들 사이의 움직임을 추정하는 단계; 및
    상기 추정된 움직임을 기반으로 상기 첫번째 및 두번째 3차원 이미지들 사이의 움직임을 나타내는 3차원 동영상을 생성하는 단계를 포함하되,
    상기 3차원 이미지를 생성하는 단계는,
    상기 선택된 제1 세트의 프레임들 각각이 상기 첫번째 3차원 이미지를 생성하기 위해 사용되는 최적 프레임인지를 판단하는 단계;
    상기 제1 세트의 프레임들 각각이 상기 최적 프레임으로 판단되면, 상기 선택된 제1 세트의 프레임들을 이용하여 상기 첫번째 3차원 이미지를 생성하는 단계; 및
    상기 제1 세트의 프레임들 중 적어도 일부가 상기 최적 프레임으로 판단되지 않으면, 상기 적어도 일부의 프레임에 대하여 선명도를 높이기 위한 이미지 처리를 수행하고, 이미지 처리된 프레임을 최적 프레임으로 선택하고, 이전 프레임 또는 다음 프레임에 기반하여 특정 시각의 프레임 내 흐릿한 부분을 보정하고, 보정된 프레임을 최적 프레임으로 선택하며, 이전 프레임 또는 다음 프레임 중 선명도가 높고, 특정 시각의 프레임과의 픽셀차가 임계치 이하인 프레임을 최적 프레임으로 선택하고, 선택된 제1 세트의 프레임을 이용하여 상기 첫번째 3차원 이미지를 생성하는 단계; 를 더 포함하는, 3차원 이미지 렌더링 장치에서 동영상을 이용하여 3차원 이미지를 렌더링하는 방법.
  9. 삭제
  10. 삭제
  11. 제8항에 있어서,
    상기 복수의 동영상들에 대한 시간 동기화를 수행하는 단계를 더 포함하는, 3차원 이미지 렌더링 장치에서 동영상을 이용하여 3차원 이미지를 렌더링하는 방법.
  12. 삭제
  13. 제8항에 있어서, 상기 최적 프레임은,
    선명도가 높은 프레임이고,
    상기 첫번째 3차원 이미지를 생성하는 단계는,
    상기 선택된 제1 세트의 프레임들 각각에 대한 선명도 값을 산출하는 단계; 및
    상기 산출된 선명도 값이 기 설정된 임계 선명도 값 이상이면 상기 선명도가 높은 프레임으로 판단하는 단계를 더 포함하는, 3차원 이미지 렌더링 장치에서 동영상을 이용하여 3차원 이미지를 렌더링하는 방법.
  14. 삭제
KR1020180171826A 2017-12-29 2018-12-28 동영상을 이용하여 3차원 이미지를 렌더링하는 장치 및 방법 KR102287939B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20170184350 2017-12-29
KR1020170184350 2017-12-29
KR20170184348 2017-12-29
KR1020170184348 2017-12-29

Publications (2)

Publication Number Publication Date
KR20190082129A KR20190082129A (ko) 2019-07-09
KR102287939B1 true KR102287939B1 (ko) 2021-08-09

Family

ID=67261393

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180171826A KR102287939B1 (ko) 2017-12-29 2018-12-28 동영상을 이용하여 3차원 이미지를 렌더링하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102287939B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102041320B1 (ko) * 2019-10-01 2019-11-06 주식회사 아이디어캐슬 정밀 위치 기반의 최적화 3d 지도 제공 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101599235B1 (ko) * 2015-01-14 2016-03-03 (주)에스시전시문화 3d 포토 스캔 시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100382753B1 (ko) * 1996-10-28 2003-06-18 삼성전자주식회사 다안 동영상 취득 방법 및 장치
KR20110064161A (ko) * 2009-12-07 2011-06-15 삼성전자주식회사 3차원 영상에 관한 압축 방법 및 장치, 그리고 3차원 영상 디스플레이 장치 및 그 시스템
KR101329057B1 (ko) * 2010-03-29 2013-11-14 한국전자통신연구원 다시점 입체 동영상 송신 장치 및 방법
KR101510312B1 (ko) * 2013-09-13 2015-04-10 인하대학교 산학협력단 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법
KR20160073488A (ko) * 2014-12-16 2016-06-27 한국전자통신연구원 3d 스캐너

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101599235B1 (ko) * 2015-01-14 2016-03-03 (주)에스시전시문화 3d 포토 스캔 시스템

Also Published As

Publication number Publication date
KR20190082129A (ko) 2019-07-09

Similar Documents

Publication Publication Date Title
JP6950013B2 (ja) 画像処理装置、画像処理方法及びプログラム
US9369638B2 (en) Methods for extracting objects from digital images and for performing color change on the object
US8982110B2 (en) Method for image transformation, augmented reality, and teleperence
CN108292489B (zh) 信息处理装置和图像生成方法
US8976160B2 (en) User interface and authentication for a virtual mirror
AU2014304760B2 (en) Devices, systems and methods of virtualizing a mirror
US8970569B2 (en) Devices, systems and methods of virtualizing a mirror
JP6812803B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR101822471B1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
US8860847B2 (en) Computer-readable storage medium having stored thereon image generation program, capturing apparatus, capturing system, and image generation method for creating an image
EP2149862A2 (en) Information processing apparatus and information processing method
JP7423683B2 (ja) 画像表示システム
CN108885342A (zh) 用于低延迟渲染的宽基线立体
CN107609946B (zh) 一种显示控制方法及计算设备
KR102382247B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램
CN106971426A (zh) 一种虚拟现实与真实场景融合的方法
CN107016730A (zh) 一种虚拟现实与真实场景融合的装置
KR102287939B1 (ko) 동영상을 이용하여 3차원 이미지를 렌더링하는 장치 및 방법
CN106981100A (zh) 一种虚拟现实与真实场景融合的装置
JP6775669B2 (ja) 情報処理装置
JP2018198025A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP6694514B2 (ja) 情報処理装置
TW201928761A (zh) 影像擷取之設備及方法
JP6467039B2 (ja) 情報処理装置
WO2018173206A1 (ja) 情報処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant