KR20210023663A - 2d 이미지를 활용하여 3d 컨텐츠를 생성하는 영상 처리 방법 및 영상 처리 장치 - Google Patents

Abstract

본 명세서는 영상 처리 장치에 의하여 수행되는 영상 처리 방법에 있어서, 3D 좌표계 중 제 1 위치에서 관측되는 3D 컨텐츠의 2D 이미지를 나타내는 제 1 이미지와, 상기 3D 좌표계 중 제 2 위치에서 관측되는 상기 3D 컨텐츠의 2D 이미지를 나타내는 제 2 이미지를 획득하는 단계; 상기 제 1 이미지에서 상기 3D 컨텐츠의 일 경계를 나타내는 제 1 경계선을 검출하는 단계; 상기 제 2 이미지에서 상기 일 경계를 나타내는 제 2 경계선을 검출하는 단계; 및 상기 제 1 경계선과 상기 제 2 경계선을 이용하여 상기 3D 좌표계에서 상기 일 경계를 3D로 표현하는 제 3 경계선을 결정하는 단계를 포함하는 영상 처리 방법을 개시한다.

Description

2D 이미지를 활용하여 3D 컨텐츠를 생성하는 영상 처리 방법 및 영상 처리 장치{IMAGE PROCESSING METHOD AND IMAGE PROCESSING APPARATUS FOR GENERATING 3D CONTENT USING 2D IMAGES}

본 발명은 3D 컨텐츠를 생성하는 영상 처리 방법 및 영상 처리 장치에 관한 것이다.

3D 모델링이란 현실세계 또는 비현실 세계를 3차원적인 형태로 모델화 또는 가상화하여 구현하는 것을 가리킨다. 이러한 3차원(3D) 모델링은 3차원의 대상 객체를 기하학적 데이터로 표현함으로써 나타낼 수 있다.

과거에는 현실세계의 측량성과 기반 3차원 묘사 구축방법이 비효율적으로 간주됨에 따라 측량성과를 이용하지 않고, 사진이나 현장답사를 통한 목측에 근거하여 대략적인 3D 모델링이 이뤄지거나 비현실 세계에 대한 모델링이 주로 이루어졌다. 그러나, 근래에는 측량기술의 발달과 사진측량 툴의 개발 및 컴퓨터그래픽 기술의 발전으로 현실세계에 대한 3D 모델링 작업이 점진적으로 진행되고 있다.

일 예로, 3D 모델링은 대상 객체를 3D 스캐닝함으로써 생성될 수 있다. 스캐닝에 의해 생성된 픽쳐는 그 각 포인트에서 한 표면에 대한 거리를 기술한다. 따라서, 픽처 내의 각 포인트의 3차원 위치가 식별될 수 있다. 이러한 기술에서는 전형적으로 대상 객체의 모든 방향에서의 정보를 입수하기 위해 여러 방향에서의 스캔 작업이 필요하며, 이러한 작업은 상당한 작업시간을 소요하게 된다.

3D 모델링 효율을 도모하기 위하여 한국 특허출원 제10-2018-0047235호는 상용화된 사진측량 툴(photogrammetry tool)로부터 획득한 데이터를 이용하여 3D 공간 내 가상 카메라 및 텍스처(texture)를 설정하고, 오브젝트에 대한 좌표를 설정함으로써 보다 현실감 있는 3D 모델을 신속하게 제작하는 방법을 개시하고 있다.

그러나, 근래 3D 모델링 수요가 급증함에 따라 보다 효율적인 3D 모델링 방법을 사용하고자 하는 니즈가 여전히 존재한다.

본 명세서는 현실감 있는 3D 컨텐츠를 효율적으로 생성하는 영상 처리 방법 및 영상 처리 장치를 제시한다.

상기한 과제를 해결하기 위한 일 실시예에 따른 영상 처리 장치에 의하여 수행되는 영상 처리 방법은 3D 좌표계 중 제 1 위치에서 관측되는 3D 컨텐츠의 2D 이미지를 나타내는 제 1 이미지와, 상기 3D 좌표계 중 제 2 위치에서 관측되는 상기 3D 컨텐츠의 2D 이미지를 나타내는 제 2 이미지를 획득하는 단계; 상기 제 1 이미지에서 상기 3D 컨텐츠의 일 경계를 나타내는 제 1 경계선을 검출하는 단계; 상기 제 2 이미지에서 상기 일 경계를 나타내는 제 2 경계선을 검출하는 단계; 및 상기 제 1 경계선과 상기 제 2 경계선을 이용하여 상기 3D 좌표계에서 상기 일 경계를 3D로 표현하는 제 3 경계선을 결정하는 단계를 포함한다.

상기 제 3 경계선을 결정하는 단계는, 상기 제 1 위치에서 상기 3D 컨텐츠가 관측되는 방향으로 상기 제 1 경계선을 투사함으로써 제 1 투사면을 생성하는 단계; 상기 제 2 위치에서 상기 3D 컨텐츠가 관측되는 방향으로 상기 제 2 경계선을 투사함으로써 제 2 투사면을 생성하는 단계; 및 상기 제 1 투사면과 상기 제 2 투사면의 교차에 기반하여 상기 제 3 경계선을 결정하는 단계를 포함할 수 있다.

상기 제 1 투사면을 생성하는 단계는, 상기 제 1 이미지의 화각 정보 및 해상도 정보에 기반하여 상기 제 1 경계선을 투사함으로써 수행될 수 있다.

상기 제 1 경계선을 검출하는 단계는, 상기 제 1 이미지를 사용자 단말에 디스플레이하는 단계; 사용자 입력에 기반하여 상기 제 1 경계선을 제 1 이미지상에 표현하는 단계; 및 상기 제 1 경계선의 표현에 따라 상기 제 1 경계선을 검출하는 단계를 포함할 수 있다.

또한, 상기한 과제를 해결하기 위한 일 실시예에 따른 영상 처리 방법은 상기 제 1 경계선을 구성하는 적어도 한 지점의 위치를 상기 단말에서 디스플레이 되는 지시자의 위치 이동에 따라 변경함으로써 상기 제 1 경계선을 수정하는 단계를 더 포함할 수 있다. 상기 지시자는 사용자 입력에 따라 상기 단말에서 디스플레이 되는 위치가 변경될 수 있다.

또한, 상기한 과제를 해결하기 위한 일 실시예에 따른 영상 처리 방법은 상기 제 3 경계선을 이용하여 상기 3D 좌표계에서 3D로 표현되는 경계면을 생성하는 단계를 더 포함할 수 있다. 여기서, 상기 경계면은 상기 제 3 경계선이 소정의 방향으로 연장되어 생성될 수 있다.

또한, 상기한 과제를 해결하기 위한 일 실시예에 따른 영상 처리 방법은 3D 컨텐츠에서 대상 객체를 식별하는 단계; 상기 대상 객체가 2D로 표현된 제 1 이미지와 제 2 이미지를 획득하는 단계; 상기 제 1 이미지와 제 2 이미지에서 상기 대상 객체의 경계선을 검출하는 단계; 및 상기 검출된 경계선을 이용하여 상기 3D 좌표계에서 3D로 표현된 경계선을 결정하는 단계를 포함할 수 있다.

상기 3D로 표현된 경계선을 결정하는 단계는, 상기 제 1 이미지와 상기 제 2 이미지 모두에서 표현된 상기 대상 객체의 동일 경계를 나타내는 경계선을 결정하는 단계를 포함할 수 있다.

또한, 상기한 과제를 해결하기 위한 일 실시예에 따른 영상 처리 방법은 상기 3D로 표현된 경계선을 이용하여 상기 3D 좌표계에서 3D로 표현되는 경계면을 생성하는 단계를 더 포함할 수 있다.

또한, 상기한 과제를 해결하기 위한 일 실시예에 따른 영상 처리 방법은 상기 생성된 경계면을 상기 3D 컨텐츠에 부가하는 단계를 더 포함할 수 있다. 이러한 경우, 상기 3D 컨텐츠에서 상기 생성된 경계면에 대응되는 소정의 데이터가 제거된 후 상기 생성된 경계면에 대한 데이터가 상기 3D 컨텐츠에 부가될 수 있다.

또한, 상기한 과제를 해결하기 위한 일 실시예에 따른 영상 처리 장치는 프로세서 및 메모리를 포함하고, 상기 프로세서는 3D 좌표계 중 제 1 위치에서 관측되는 3D 컨텐츠의 2D 이미지를 나타내는 제 1 이미지를 획득하고, 상기 3D 좌표계 중 제 2 위치에서 관측되는 상기 3D 컨텐츠의 2D 이미지를 나타내는 제 2 이미지를 획득하고, 상기 제 1 이미지에서 상기 3D 컨텐츠의 일 경계를 나타내는 제 1 경계선을 검출하고, 상기 제 2 이미지에서 상기 일 경계를 나타내는 제 2 경계선을 검출하며, 상기 제 1 경계선과 상기 제 2 경계선을 이용하여 상기 3D 좌표계에서 상기 일 경계를 3D로 표현하는 제 3 경계선을 결정할 수 있다.

또한, 상기한 과제를 해결하기 위한 일 실시예에 따른 영상 처리 장치는 프로세서 및 메모리를 포함하고, 상기 프로세서는 3D 컨텐츠에서 대상 객체를 식별하고, 상기 대상 객체가 2D로 표현된 제 1 이미지와 제 2 이미지를 획득하고, 상기 제 1 이미지와 제 2 이미지에서 상기 대상 객체의 경계선을 검출하며, 상기 검출된 경계선을 이용하여 상기 3D 좌표계에서 3D로 표현된 경계선을 결정할 수 있다.

또한, 상기한 과제를 해결하기 위한 일 실시예에 따른 컴퓨터로 읽을 수 있는 기록 매체는 전술한 일 실시예에 따른 영상 처리 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체일 수 있다.

본 명세서에 기재된 기술적 사항에 따라, 일 실시 예에 따른 영상 처리 방법 및 영상 처리 장치는 대상 객체에 관한 복수의 2D 이미지에서 선택된 대상 객체의 경계선을 활용하여, 대상 객체를 3D로 표현하는 3D 컨텐츠를 효율적으로 생성할 수 있다.

도 1은 일 실시 예에 따른 영상 처리 장치를 나타내는 블록도이다.
도 2는 일 실시 예에 따른 영상 처리 장치가 수행하는 영상 처리 방법을 설명하는 순서도이다.
도 3은 일 실시 예에 따른 대상 객체와 대상 객체를 둘러싼 복수의 카메라의 위치 관계를 나타내는 개념도이다.
도 4 및 도 5는 일 실시 예에 따른 제 1 및 제 2 이미지와 그에 대한 사용자 입력을 받기 위한 사용자 인터페이스를 도시하는 도면이다.
도 6은 일 실시 예에 따른 영상 처리 장치가 3차원 공간에서 가상의 투사면을 생성하는 방법을 설명하는 도면이다.
도 7은 일 실시 예에 따른 영상 처리 장치가 제 1 투사면과 제 2 투사면의 교차를 이용하여 경계선을 생성하는 방법을 설명하는 개념도이다.
도 8은 일 실시 예에 따른 영상 처리 장치가 3D 컨텐츠를 갱신하는 방법을 설명하는 순서도이다.
도 9는 3D 컨텐츠의 일 실시 예를 나타낸다.
도 10은 3차원 공간에서 가상의 3D 면을 생성하는 일 실시 예를 나타내는 도면이다.
도 11은 3D 컨텐츠의 일 부분이 갱신된 예를 나타내는 도면이다.

이하의 내용은 단지 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시 되지 않았지만 발명의 원리를 구현하고 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.

명세서 및 청구범위에서 "제 1", "제 2", "제 3" 및 "제 4" 등의 용어는, 만약 있는 경우, 유사한 구성요소 사이의 구분을 위해 사용되며, 반드시 그렇지는 않지만 특정 순차 또는 발생 순서를 기술하기 위해 사용된다. 그와 같이 사용되는 용어는 여기에 기술된 본 발명의 실시예가, 예컨대, 여기에 도시 또는 설명된 것이 아닌 다른 시퀀스로 동작할 수 있도록 적절한 환경하에서 호환 가능한 것이 이해될 것이다. 마찬가지로, 여기서 방법이 일련의 단계를 포함하는 것으로 기술되는 경우, 여기에 제시된 그러한 단계의 순서는 반드시 그러한 단계가 실행될 수 있는 순서인 것은 아니며, 임의의 기술된 단계는 생략될 수 있고/있거나 여기에 기술되지 않은 임의의 다른 단계가 그 방법에 부가 가능할 것이다.

또한 명세서 및 청구범위의 "왼쪽", "오른쪽", "앞", "뒤", "상부", "바닥", "위에", "아래에" 등의 용어는, 설명을 위해 사용되는 것이며, 반드시 불변의 상대적 위치를 기술하기 위한 것은 아니다. 그와 같이 사용되는 용어는 여기에 기술된 본 발명의 실시예가, 예컨대, 여기에 도시 또는 설명된 것이 아닌 다른 방향으로 동작할 수 있도록 적절한 환경하에서 호환 가능한 것이 이해될 것이다. 여기서 사용된 용어 "연결된"은 전기적 또는 비 전기적 방식으로 직접 또는 간접적으로 접속되는 것으로 정의된다. 여기서 서로 "인접하는" 것으로 기술된 대상은, 그 문구가 사용되는 문맥에 대해 적절하게, 서로 물리적으로 접촉하거나, 서로 근접하거나, 서로 동일한 일반적 범위 또는 영역에 있는 것일 수 있다. 여기서 "일실시예에서"라는 문구의 존재는 반드시 그런 것은 아니지만 동일한 실시예를 의미한다.

또한 명세서 및 청구범위에서 '연결된다', '연결하는', '체결된다', '체결하는', '결합된다', '결합하는' 등과 이런 표현의 다양한 변형들의 지칭은 다른 구성요소와 직접적으로 연결되거나 다른 구성요소를 통해 간접적으로 연결되는 것을 포함하는 의미로 사용된다.

또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

또한 본 명세서에서 사용된 용어들은 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprise)' 및/또는 '포함하는(comprising)'은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

또한, 발명을 설명함에 있어서 발명과 관련된 공지 기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예에 대해 상세하게 설명한다.

도 1은 3D 컨텐츠를 생성하는 일 실시 예에 따른 영상 처리 장치를 나타내는 블록도이다. 일 실시 예에 따른 영상 처리 장치(100)는 프로세서(110), 메모리(120), 통신부(130), 입력부(140), 출력부(150)를 포함하여 구성될 수 있다. 상기 구성은 예시적인 것으로 나열된 구성중 일부가 생략될 수도 있고, 나열되지 않은 구성이 더 포함될 수도 있다.

프로세서(110)는 영상 처리 장치(100)의 동작을 제어하여 이하 설명하는 영상 처리 방법을 수행하기 위하여, 메모리(120), 통신부(130), 입력부(140) 및 출력부(150) 중 적어도 어느 하나를 포함한 영상 처리 장치(100)의 각 구성을 제어할 수 있다.

일 실시 예에서, 프로세서(110)는 3D 좌표계 상에서의 제 1 위치에서 보여지는 3D 컨텐츠의 이미지를 나타내는 제 1 이미지와, 3D 좌표계 상에서의 제 2 위치에서 보여지는 3D 컨텐츠의 이미지를 나타내는 제 2 이미지를 획득할 수 있다. 프로세서(110)는 제 1 이미지에서 상기 3D 컨텐츠의 일 경계를 나타내는 제 1 경계선을 검출하고, 제 2 이미지에서 일 경계를 나타내는 제 2 경계선을 검출하며, 제 1 경계선과 제 2 경계선을 이용하여 3D 좌표계에서 일 경계를 표현하는 제 3 경계선을 결정할 수 있다. 여기서, 제 3 경계선은 3D 좌표계에서 표현되는 가상의 선일 수 있다.

다른 일 실시 예에서 프로세서(110)는 3D 컨텐츠에 포함된 대상 객체를 식별하고, 대상 객체가 표현된 제 1 이미지와 제 2 이미지를 획득할 수 있다. 프로세서(110)는 제 1 이미지와 제 2 이미지에서 상기 대상 객체의 경계선을 검출하며, 검출된 경계선을 이용하여 3D 좌표계에서의 가상의 경계선을 결정할 수 있다.

메모리(120)는 영상 처리 장치의 동작을 위한 프로그램 데이터와 임시 데이터를 저장할 수 있다. 나아가 메모리(120)는 영상 처리 방법을 수행하기 위한 3D 컨텐츠 데이터, 일 위치에서 생성된 3D 컨텐츠의 2D 이미지 데이터 등을 포함할 수 있다. 여기서 2D 이미지 데이터는 부가 정보로써 2D 이미지가 생성된 3D 좌표계에서의 위치 정보(e.g. x축, y축 및 z축의 좌표로 표현되는 위치 정보), 2D 이미지를 생성하기 위한 카메라 정보(e.g. 화각, 해상도, 컬러 포멧, 카메라 화각이 향하는 방향 정보 등)등을 포함할 수 있다.

통신부(130)는 프로세서(110)의 제어에 따라 현존하는 무선/유선 통신 방법을 이용하여 외부 장치로부터 3D 컨텐츠 데이터, 2D 이미지 데이터, 이미지 생성 정보, 제어정보 등을 수신할 수 있고, 외부 장치로 3D 컨텐츠 데이터, 2D 이미지 데이터, 이미지 생성 정보, 제어정보 등을 송신할 수도 있다.

입력부(140)는 일 실시 예에 따른 영상 처리 방법을 수행하기 위하여 사용자 입력을 받기 위한 키보드, 마우스, 터치패널 및 그를 활용한 사용자 인터페이스 등으로 구성될 수 있다.

출력부(150)는 일 실시 예에 따른 영상 처리 방법을 수행하기 위해 사용자에게 처리 결과 또는 사용자 입력을 질의하기 위한 정보를 출력하기 위하여 디스플레이 패널 등을 포함하는 디스플레이부 등으로 구성될 수 있다.

도 2는 일 실시 예에 따른 영상 처리 장치가 수행하는 영상 처리 방법을 설명하는 순서도이다. 도 3은 대상 객체(310)와 대상 객체를 둘러싼 복수의 카메라(320)의 위치관계를 나타내는 개념도이다.

이하, 도 2 및 도 3을 참조하여 일 실시 예에 따른 영상 처리 장치가 영상 처리 방법을 수행하여 대상 객체의 3D 컨텐츠를 생성하는 방법을 설명한다.

먼저, 영상 처리 장치는 대상 객체(310)의 제 1 이미지와 제 2 이미지를 획득할 수 있다(S210). 제 1 이미지는 3D 좌표계 상의 제 1 위치(321)에서 보여지는 상기 대상 객체(310)의 이미지일 수 있다. 예를들어, 3D 좌표계가 현실 공간인 경우, 제 1 이미지는 3D 좌표계 중 어느 한 위치에 위치한 제 1 카메라(321)로 상기 대상 객체(310)를 촬영하여 생성한 2D 이미지일 수 있다. 예를들어, 3D 좌표계가 가상의 3D 공간인 경우, 제 1 이미지는 3D 좌표계 중 어느 한 위치에 위치한 가상의 제 1 카메라(321)로 상기 대상 객체(310)를 촬영하여 생성한 2D 이미지일 수 있다. 마찬가지로, 제 2 이미지는 3D 좌표계 상의 제 2 위치(322)에서 보여지는 상기 대상 객체(310)의 이미지일 수 있다. 예를들어, 제 2 이미지는 3D 좌표계 중 어느 한 위치에 위치한 제 2 카메라(322)로 상기 대상 객체(310)를 촬영하여 생성한 2D 이미지일 수 있다.

일 실시 예에서, 제 1 위치와 제 2 위치는 서로 다른 위치이며, 이에 따라 제 1 이미지와 제 2 이미지에서 표현되는 객체의 이미지는 서로 다를 수 있다. 예를들어, 제 1 이미지는 도 4의 (a)와 같이 도시될 수 있다. 제 2 이미지는 도 5의 (a)와 같이 도시될 수 있다.

다음으로, 영상 처리 장치는 제 1 및 제 2 이미지에서 대상 객체(310)의 경계선을 검출할 수 있다(S220). 일 실시 예에 따른 영상 처리 장치는 객체 인식 알고리즘을 사용하여 이미지에서 객체를 인식할 수 있다. 나아가 경계 식별 알고리즘을 사용하여 인식된 객체의 경계를 식별함으로써 이미지에서 나타나는 대상 객체의 경계선을 검출할 수도 있다.

한편, 일 실시 예에 따른 영상 처리 장치는 사용자 입력에 기반하여 이미지에서 대상 객체의 경계선을 검출할 수도 있다. 이를 위하여, 일 실시 예에 따른 영상 처리 장치는 제 1 이미지를 사용자 단말의 디스플레이부에 표시할 수 있다. 이에 따라, 사용자는 디스플레이부에 표현된 제 1 이미지를 확인할 수 있다. 일 실시 예에서, 사용자는 제 1 경계선을 제 1 이미지 상에 생성하기 위한 사용자 입력을 영상 처리 장치에 입력할 수 있다. 이에 따라 영상 처리 장치는 제 1 이미지 상에 생성되는 제 1 경계선을 나타내는 데이터를 획득할 수 있다. 예를들어, 디스플레이부에 선분을 표현하게 하는 사용자 입력에 따라 영상 처리 장치는 제 1 경계선을 나타내는 데이터를 획득할 수 있다.

제 1 이미지에 대한 처리가 끝나면, 일 실시 예에 따른 영상 처리 장치는 제 2 이미지를 사용자 단말의 디스플레이부에 표시하고, 그에 대한 사용자 입력에 기반하여 제 2 경계선을 나타내는 데이터를 획득할 수 있다.

이를 위한 제 1 및 제 2 이미지의 표시와 그에 대한 사용자 입력을 받는 일 실시 예가 도 4 및 도 5에 도시되어 있다. 도 4의 (a)는 제 1 이미지와, 제 1 이미지 상에서 표현되는 사용자 인터페이스를 도시하며, 도 4의 (b)는 사용자 인터페이스의 개념을 나타낸다. 도 5의 (a)는 제 2 이미지와, 제 2 이미지 상에서 표현되는 사용자 인터페이스를 도시하며, 도 5의 (b)는 사용자 인터페이스의 개념을 나타낸다.

이하, 도 4를 참조하여 제 1 이미지에서 대상 객체의 경계선을 검출하기 위한 사용자 인터페이스의 활용 예시를 설명한다. 일 실시 예에서, 영상 처리 장치는 사용자 인터페이스를 통해 입력된 사용자 입력에 기반하여, 디스플레이부에 표현되는 제 1 이미지 상에 제 1 경계선(430)을 표현할 수 있다.

일 실시 예에 따른 사용자 인터페이스는 제 1 컨트롤러(410)와 제 2 컨트롤러(420)로 구성될 수 있다. 일 실시 예에 따른 영상 처리 장치는 제 1 이미지의 빈 공간에 대한 사용자 입력이 획득되는 경우 제 1 컨트롤러(410)를 해당 위치에 배치하고, 제 1 이미지의 빈 공간에 대한 사용자 입력이 재획득되는 경우 제 2 컨트롤러(420)를 해당 위치에 배치할 수 있다. 이에 따라, 영상 처리 장치는 도 4(b)에 도시된 바와 같이 제 1 컨트롤러(410)와 제 2 컨트롤러(420)를 관통하는 제 1 경계선(430)을 생성할 수 있다. 더하여, 영상 처리 장치는 컨트롤러의 위치를 변경하는 사용자 입력에 따라 컨트롤러의 위치를 변경함으로써 제 1 경계선(430)의 형태를 변경할 수 있다.

일 실시 예에서, 컨트롤러의 위치에 기반하여 경계선의 시작 지점과 종료 지점이 설정될 수 있다. 시작 지점과 종료 지점은 컨트롤러의 위치에서 소정 거리 이격되어 생성되거나, 컨트롤러가 지시하는 일 위치에서 생성될 수 있다. 예를들어, 도 4(b)에 도시된 바와 같이, 제 1 경계선(430)의 시작 지점(412)은 제 1 컨트롤러(410)의 위치에서 소정거리 이격되어 생성될 수 있다. 일 실시 예에 따른 영상 처리 장치는 제 1 경계선(430)에 수직한 제 1 안내선(411)을 디스플레이부를 통해 표시함으로써 제 1 컨트롤러(410)에 의하여 생성된 시작 지점(412)을 사용자에게 나타낼 수 있다. 여기서 제 1 안내선(411)은 제 1 카메라의 위치(401)에서 시작지점(412)을 관통하여 생성되는 가상의 선일 수 있다.

또한, 도 4(b)에 도시된 바와 같이, 제 1 경계선(430)의 종료 지점(422)은 제 2 컨트롤러(420)의 위치에서 생성될 수 있다. 일 실시 예에 따른 영상 처리 장치는 제 1 경계선(430)에 수직한 제 2 안내선(421)을 디스플레이부를 통해 표시함으로써 제 2 컨트롤러(420)에 의하여 생성된 종료 지점(422)을 사용자에게 나타낼 수 있다. 여기서 제 2 안내선(421)은 제 1 카메라의 위치(401)에서 종료지점(422)을 관통하여 생성되는 가상의 선일 수 있다.

한편, 도 5의 (b)에 도시된 바와 같이, 제 2 경계선(530)의 시작 지점(512)은 제 1 컨트롤러(510)의 위치에서 생성될 수 있다. 일 실시 예에 따른 영상 처리 장치는 제 2 경계선(530)에 수직한 제 1 안내선(511)을 디스플레이부를 통해 표시함으로써 제 1 컨트롤러(510)에 의하여 생성된 시작 지점(512)을 사용자에게 나타낼 수 있다. 여기서 제 1 안내선(511)은 제 2 카메라의 위치(501)에서 시작지점(512)을 관통하여 생성되는 가상의 선일 수 있다.

또한, 제 2 경계선(530)의 종료 지점(522)은 제 2 컨트롤러(520)의 위치에서 소정거리 이격되어 생성될 수 있다. 일 실시 예에 따른 영상 처리 장치는 제 2 경계선(530)에 수직한 제 2 안내선(521)을 디스플레이부를 통해 표시함으로써 제 2 컨트롤러(520)에 의하여 생성된 종료 지점(522)을 사용자에게 나타낼 수 있다. 여기서 제 2 안내선(521)은 제 2 카메라의 위치(501)에서 종료지점(522)을 관통하여 생성되는 가상의 선일 수 있다.

다음으로, 영상 처리 장치는 제 1 이미지와 제 2 이미지에서 검출된 대상 객체의 경계선을 이용하여 3차원 공간에서의 투사면을 생성할 수 있다(S230). 도 6은 일 실시 예에 따른 영상 처리 장치가 3차원 공간에서의 가상의 투사면을 생성하는 방법을 설명하는 도면이다. 도 6에 도시된 바와 같이, 일 실시 예에 따른 영상 처리 장치는 제 1 경계선을 3차원 공간으로 투사하여 제 1 투사면을 3차원 공간에 생성할 수 있다.

예를들어, 일 실시 예에 따른 영상 처리 장치는 제 1 이미지가 생성된 3차원 내 위치인 제 1 위치에서 대상 객체를 향한 방향으로 제 1 경계선을 투사함으로써 제 1 투사면을 생성할 수 있다.

보다 상세히, 제 1 이미지를 촬영한 제 1 카메라의 위치(401)가 3차원 좌표계를 기준으로 특정되고, 상기 대상 사물의 위치(310)가 3차원 좌표계를 기준으로 특정되는 일 실시 예에서, 제 1 카메라의 위치에서 제 1 이미지의 해상도에 따라 생성된 제 1 경계선이 대상 사물을 향해 투사됨으로써 제 1 투사면이 생성될 수 있다.

이때, 제 1 이미지의 촬영 조건에 따라 제 1 경계선이 투사될 수 있다. 예를들어, 제 1 이미지의 화각 정보에 따라 제 1 경계선이 투사될 수 있다. 일 실시 예에서, 제 1 이미지와 함께 저장된 카메라의 화각 정보에 따른 확대 비율로 제 1 경계선이 확대되면서 3차원 공간으로 투사될 수 있다.

마찬가지 방식으로, 일 실시 예에 따른 영상 처리 장치는 제 2 경계선을 3차원 공간으로 투사하여 제 2 투사면을 3차원 공간에 생성할 수 있다.

한편, S230 단계는 각 이미지에 대하여 설정된 제 1 안내선 및 제 2 안내선에 의하여 결정되는 면을 투사면으로 결정함으로써 수행될 수도 있다. 이에 따라 결정되는 투사면은 제 1 및 제 2 안내선의 표현 방식으로 정의될 수 있다. 예를들어, 투사면은 제 1 및 제 2 안내선의 벡터 표현으로 표현될 수 있다.

다 상세히, 일 실시 예에 따른 영상 처리 장치는 제 1 이미지에 대한 제 1 안내선(411)과 제 2 안내선(421)에 의하여 정의되는 면을 제 1 이미지에 대한 제 1 투사면으로 결정할 수 있다. 마찬가지 방식으로, 일 실시 예에 따른 영상 처리 장치는 제 2 이미지에 대한 제 1 안내선(511)과 제 2 안내선(521)에 의하여 정의되는 면을 제 2 이미지에 대한 제 2 투사면으로 결정할 수 있다.

다음으로, 영상 처리 장치는 투사면의 교차를 이용하여 3차원 공간에서의 경계선을 결정할 수 있다(S240). 도 7은 제 1 투사면(710)과 제 2 투사면(720)의 교차를 이용하여 경계선을 생성하는 방법을 설명하는 개념도이다. 영상 처리 장치는 도 7에 도시된 바와 같이 3차원 공간 내에서 제 1 투사면(710)과 제 2 투사면(720)이 교차됨으로써 생성되는 경계선(730)을 앞서 S220단계에서 2D 이미지에서 특정된 경계선에 대한 3D 좌표계에서의 3D 경계선으로 결정할 수 있다.

이와 같이, 영상 처리 장치는 대상 객체를 표현하는 각각의 경계선에 대하여 앞서 설명한 방법을 수행함으로써, 대상 객체를 표현하는 3D 컨텐츠를 3차원 좌표계에 생성할 수 있다.

도 8은 일 실시 예에 따른 영상 처리 장치를 이용하여 가상의 3D 공간에 생성된 3D 컨텐츠에 대하여 앞서 설명한 영상 처리 방법을 적용함으로써 3D 컨텐츠를 갱신하기 위한 방법을 설명하는 순서도이다.

먼저, 일 실시 예에 따른 영상 처리 장치는 3D 컨텐츠에 포함된 대상 객체를 선택할 수 있다(S810). 도 9는 일 실시 예에 따른 3D 컨텐츠를 나타낸다. 일 실시 예에 따른 3D 컨텐츠는 도 9에 도시된 바와 같이 3D 스캐너를 이용하여 생성된 컨텐츠일 수 있다. 일 실시 예에 따른 영상 처리 장치는 3D 컨텐츠 내 대상 객체(910)를 선택하는 사용자 입력에 기반하여 대상 객체(910)를 결정할 수 있다. 또는 일 실시 예에 따른 영상 처리 장치는 3D 컨텐츠 내 대상 객체(910)를 식별하는 객체 식별 알고리즘을 이용하여 3D 컨텐츠 내 대상 객체(910)를 결정할 수도 있다.

다음으로, 일 실시 예에 따른 영상 처리 장치는 선택된 객체에 대한 복수의 2D 이미지를 획득할 수 있다(S820). 일 실시 예에 따른 영상 처리 장치는 앞서 도 3을 참조하여 설명한 바와 같이, 가상의 3D 공간에 복수의 2D 이미지 생성 위치를 결정할 수 있다. 이는 앞서 설명한 바와 같이 가상의 3D 공간에 복수의 가상의 카메라를 생성하는 것으로 설명될 수 있다. 이러한 점에서, 이하 2D 이미지 생성 위치에서 2D 이미지가 생성되는 것을 복수의 가상 카메라 위치에서 2D 이미지가 생성되는 것으로 갈음하여 설명한다.

일 실시 예에 따른 영상 처리 장치는 미리 설정된 카메라 배치에 기반하여 복수의 가상 카메라를 가상의 3D 공간에 생성할 수 있다. 다른 실시 예에서, 영상 처리 장치는 사용자 입력에 기반하여 복수의 카메라를 가상의 3D 공간에 생성할 수도 있다.

일 실시 예에 따른 영상 처리 장치는 가상의 카메라 위치에서 대상 객체의 2D 이미지를 생성할 수 있다. 일 실시 예에 따른 영상 처리 장치는 소정의 옵션에 따라 이미지를 생성할 수 있다. 여기서, 소정의 옵션은 이미지를 생성하기 위한 일련의 카메라 설정 속성일 수 있다. 예를들어, 소정의 옵션은 화각, 해상도 등을 포함할 수 있다. 이에 따라, 일 실시 예에 따른 영상 처리 장치는 전술한 바와 같이 2D 이미지와 함께 이미지 생성된 부가 정보(e.g. 카메라 위치, 화각, 해상도 정보 등)를 2D 이미지에 매칭하여 저장할 수 있다.

다음으로, 일 실시 예에 따른 영상 처리 장치는 앞서 설명한 바와 같이 복수의 2D 이미지에서 객체의 경계선을 검출할 수 있다(S830). 다음으로, 일 실시 예에 따른 영상 처리 장치는 검출된 경계선들 중에서 3D 컨텐츠의 동일 경계선을 나타내는 경계선을 선택할 수 있다(S840). 일 실시 예에 따른 영상 처리 장치는 복수의 2D 이미지에서 검출된 경계선들을 그에 대응하는 3D 컨텐츠의 경계선이 동일한지 여부에 기반하여 분류함으로써 3D 컨텐츠의 동일 경계선을 나타내는 경계선을 선택할 수 있다. 다른 일 실시 예에 따른 영상 처리 장치는 3D 컨텐츠의 동일 경계선을 나타내는지 여부를 사용자 입력에 기반하여 결정할 수도 있다.

다음으로, 일 실시 예에 따른 영상 처리 장치는 앞서 설명한 바와 같이 선택된 복수의 경계선을 이용하여 복수의 투사면을 생성함으로써 3차원 공간에서의 3D 컨텐츠의 경계선을 생성할 수 있다(S850).

다음으로, 일 실시 예에 따른 영상 처리 장치는 결정된 3차원 공간에서의 경계선을 이용하여 3차원 공간에서의 면을 생성함으로써 3D 객체를 생성할 수 있다(S860). 도 10을 참조하여 보다 상세히 설명한다. 일 실시 예에 따른 영상 처리 장치는 3차원 공간에서 제 1 경계선(1010)과 제 2 경계선(1020)이 식별된 경우, 그 중 어느 하나의 경계선을 다른 하나의 경계선을 향해 연장함으로써(1011) 경계면(1030)을 생성할 수 있다.

다음으로, 일 실시 예에 따른 영상 처리 장치는 생성된 3D 객체를 이용하여 3D 컨텐츠를 수정할 수 있다(S870). 일 실시 예에 따른 영상 처리 장치는 도 11과 같이 생성된 3D 객체(1110)를 기존 3D 컨텐츠에 부가함으로써 3D 컨텐츠를 수정할 수 있다. 일 실시 예에 따른 영상 처리 장치는 3D 컨텐츠에서 대상 객체를 제거하고, 생성된 3D 객체를 부가함으로써 3D 컨텐츠를 수정할 수 있다.

앞서 설명된 일 실시 예에 따른 영상 처리 장치 및 영상 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예에 따라 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

앞선 실시예에 대한 설명에서 참조된 도면 각각은 설명의 편의를 위해 도시된 일 실시 예에 불과하며, 각 화면에 표시된 정보들의 항목, 내용과 이미지들은 다양한 형태로 변형되어 표시될 수 있다.

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (15)

1. 영상 처리 장치에 의하여 수행되는 영상 처리 방법에 있어서,
   3D 좌표계 중 제 1 위치에서 관측되는 3D 컨텐츠의 2D 이미지를 나타내는 제 1 이미지와, 상기 3D 좌표계 중 제 2 위치에서 관측되는 상기 3D 컨텐츠의 2D 이미지를 나타내는 제 2 이미지를 획득하는 단계;
   상기 제 1 이미지에서 상기 3D 컨텐츠의 일 경계를 나타내는 제 1 경계선을 검출하는 단계;
   상기 제 2 이미지에서 상기 일 경계를 나타내는 제 2 경계선을 검출하는 단계; 및
   상기 제 1 경계선과 상기 제 2 경계선을 이용하여 상기 3D 좌표계에서 상기 일 경계를 3D로 표현하는 제 3 경계선을 결정하는 단계를 포함하는 영상 처리 방법.
   
2. 제 1 항에 있어서,
   상기 제 3 경계선을 결정하는 단계는,
   상기 제 1 위치에서 상기 3D 컨텐츠가 관측되는 방향으로 상기 제 1 경계선을 투사함으로써 제 1 투사면을 생성하는 단계;
   상기 제 2 위치에서 상기 3D 컨텐츠가 관측되는 방향으로 상기 제 2 경계선을 투사함으로써 제 2 투사면을 생성하는 단계; 및
   상기 제 1 투사면과 상기 제 2 투사면의 교차에 기반하여 상기 제 3 경계선을 결정하는 단계를 포함하는 영상 처리 방법.
   
3. 제 2 항에 있어서,
   상기 제 1 투사면을 생성하는 단계는,
   상기 제 1 이미지의 화각 정보 및 해상도 정보에 기반하여 상기 제 1 경계선을 투사함으로써 수행되는 영상 처리 방법.
   
4. 제 1 항에 있어서,
   상기 제 1 경계선을 검출하는 단계는,
   상기 제 1 이미지를 사용자 단말에 디스플레이하는 단계;
   사용자 입력에 기반하여 상기 제 1 경계선을 제 1 이미지상에 표현하는 단계; 및
   상기 제 1 경계선의 표현에 따라 상기 제 1 경계선을 검출하는 단계를 포함하는 영상 처리 방법.
   
5. 제 4 항에 있어서,
   상기 제 1 경계선을 구성하는 적어도 한 지점의 위치를 상기 단말에서 디스플레이 되는 지시자의 위치 이동에 따라 변경함으로써 상기 제 1 경계선을 수정하는 단계를 더 포함하고,
   상기 지시자는 사용자 입력에 따라 상기 단말에서 디스플레이되는 위치가 변경되는 영상 처리 방법.
   
6. 제 1 항에 있어서,
   상기 제 3 경계선을 이용하여 상기 3D 좌표계에서 3D로 표현되는 경계면을 생성하는 단계를 더 포함하는 영상 처리 방법.
   
7. 제 6 항에 있어서,
   상기 경계면은 상기 제 3 경계선이 소정의 방향으로 연장되어 생성되는 영상 처리 방법.
   
8. 영상 처리 장치에 의하여 수행되는 영상 처리 방법에 있어서,
   3D 컨텐츠에서 대상 객체를 식별하는 단계;
   상기 대상 객체가 2D로 표현된 제 1 이미지와 제 2 이미지를 획득하는 단계;
   상기 제 1 이미지와 제 2 이미지에서 상기 대상 객체의 경계선을 검출하는 단계; 및
   상기 검출된 경계선을 이용하여 상기 3D 좌표계에서 3D로 표현된 경계선을 결정하는 단계를 포함하는 영상 처리 방법.
   
9. 제 8 항에 있어서,
   상기 3D로 표현된 경계선을 결정하는 단계는,
   상기 제 1 이미지와 상기 제 2 이미지 모두에서 표현된 상기 대상 객체의 동일 경계를 나타내는 경계선을 결정하는 단계를 포함하는 영상 처리 방법.
   
10. 제 8 항에 있어서,
    상기 3D로 표현된 경계선을 이용하여 상기 3D 좌표계에서 3D로 표현되는 경계면을 생성하는 단계를 더 포함하는 영상 처리 방법.
    
11. 제 10 항에 있어서,
    상기 생성된 경계면을 상기 3D 컨텐츠에 부가하는 단계를 더 포함하는 영상 처리 방법.
    
12. 제 11 항에 있어서,
    상기 3D 컨텐츠에서 상기 생성된 경계면에 대응되는 소정의 데이터가 제거된 후 상기 생성된 경계면에 대한 데이터가 상기 3D 컨텐츠에 부가되는 영상 처리 방법.
13. 영상 처리 장치에 있어서,
    프로세서 및 메모리를 포함하고,
    상기 프로세서는,
    3D 좌표계 중 제 1 위치에서 관측되는 3D 컨텐츠의 2D 이미지를 나타내는 제 1 이미지를 획득하고,
    상기 3D 좌표계 중 제 2 위치에서 관측되는 상기 3D 컨텐츠의 2D 이미지를 나타내는 제 2 이미지를 획득하고,
    상기 제 1 이미지에서 상기 3D 컨텐츠의 일 경계를 나타내는 제 1 경계선을 검출하고,
    상기 제 2 이미지에서 상기 일 경계를 나타내는 제 2 경계선을 검출하며,
    상기 제 1 경계선과 상기 제 2 경계선을 이용하여 상기 3D 좌표계에서 상기 일 경계를 3D로 표현하는 제 3 경계선을 결정하는 영상 처리 장치.
    
14. 영상 처리 장치에 있어서,
    프로세서 및 메모리를 포함하고,
    상기 프로세서는,
    3D 컨텐츠에서 대상 객체를 식별하고,
    상기 대상 객체가 2D로 표현된 제 1 이미지와 제 2 이미지를 획득하고,
    상기 제 1 이미지와 제 2 이미지에서 상기 대상 객체의 경계선을 검출하며,
    상기 검출된 경계선을 이용하여 상기 3D 좌표계에서 3D로 표현된 경계선을 결정하는 영상 처리 장치.
    
15. 제 1 항 또는 제 8 항의 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
    
    

Images