KR102347658B1 - 영상 처리 방법 - Google Patents

Abstract

본 발명의 실시예에 따른 영상 처리 방법은, 적어도 하나의 피사체에 대해 복수 시점에서 촬영한 복수의 2차원 이미지를 획득하는 단계, 상기 복수의 2차원 이미지로부터 상기 적어도 하나의 피사체의 3차원 모델링 정보를 생성하는 단계, 상기 적어도 하나의 피사체 중 어느 하나의 피사체를 선택하는 단계, 상기 선택된 피사체가 촬영된 임의의 2차원 이미지 내에서 상기 선택된 피사체의 적어도 일부가 상기 선택된 피사체 이외의 물체에 의해 가려져 있는지 여부를 판단하는 단계, 상기 선택된 피사체의 적어도 일부가 상기 물체에 의해 가려져 있는 경우에 상기 선택된 피사체에서 상기 물체에 의해 가려진 부분을 상기 선택된 피사체의 3차원 모델링 정보를 기초로 복원하는 단계를 포함한다.

Description

영상 처리 방법{Method for processing image}

본 발명은 영상 처리 방법에 관한 것으로서, 보다 상세하게는 복수 개의 2차원 이미지를 이용해 3차원 모델링 정보를 생성하는 영상 처리 방법에 관한 것이다.

최근에 CCTV 등의　감시　카메라를 이용한 영상　감시　시스템이 급속히 보급되고 있다.　종래의 일반적인 감시 카메라는 2D 영상을 제공한다. 2D 영상은 감시 카메라에 의해 촬영되는 방향의 반대편에 대한 정보를 확인할 수 없으므로, 영상 이미지 내에 다양한 사각 지대가 존재하게 된다.

이러한 단점을 보완하는 방안으로, 최근에는 3D 영상을 제공하는 영상 감시 시스템에 대한 요구가 늘어나고 있다.

3D 영상을 획득하기 위해 일반적으로 사용되는 방법은 각도차를 두고 피사체를 촬영하는 2대의 카메라를 이용해 촬영한 2개의 이미지를 합성하는 방법이다. 이와 같은 방법으로 3D 영상을 제공하는 영상 감시 시스템을 구축하기 위해서는 2대의 카메라가 한 쌍으로 이루어지는 3D 촬영용 카메라를 사용하여야 한다. 그러나, 고가의 3D 촬영용 카메라를 이용해 영상 감시 시스템을 구축하는 것은 상당한 비용이 소요된다는 단점이 있다.

3D 영상을 획득하는 다른 방법으로는, 거리 또는 방향을 달리하며 피사체를 촬영한 이미지들을 통해 2D 영상을 3D 영상으로 변환하는 방법이 있다. 종래의 2D 영상 감시 시스템의 하드웨어의 교체를 최소화하고 소프트웨어의 변경 및 보완의 측면으로 접근할 수 있어, 전술한 방법에 비해 상대적으로 낮은 비용으로 3D 영상을 획득할 수 있다.

본 발명이 해결하고자 하는 과제는, 2차원 이미지들을 기초로 피사체의 3차원 모델링을 생성하고, 피사체를 촬영한 영상 내에서 피사체의 적어도 일부가 다른 물체 등에 의해 가려지는 경우에도 가려진 부분의 3차원 정보를 제공하는 영상 처리 방법을 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 영상 처리 방법은, 적어도 하나의 피사체에 대해 복수 시점에서 촬영한 복수의 2차원 이미지를 획득하는 단계, 상기 복수의 2차원 이미지로부터 상기 적어도 하나의 피사체의 3차원 모델링 정보를 생성하는 단계, 상기 적어도 하나의 피사체 중 어느 하나의 피사체를 선택하는 단계, 상기 선택된 피사체가 촬영된 임의의 2차원 이미지 내에서 상기 선택된 피사체의 적어도 일부가 상기 선택된 피사체 이외의 물체에 의해 가려져 있는지 여부를 판단하는 단계, 상기 선택된 피사체의 적어도 일부가 상기 물체에 의해 가려져 있는 경우에 상기 선택된 피사체에서 상기 물체에 의해 가려진 부분을 상기 선택된 피사체의 3차원 모델링 정보를 기초로 복원하는 단계를 포함한다.

일 실시예에 따르면, 상기 3차원 모델링 정보를 생성하는 단계는, 상기 복수의 2차원 이미지에서 상기 피사체와 배경을 분리하고, 상기 배경은 2차원 이미지로 유지하고, 상기 피사체에 대한 상기 3차원 모델링 정보를 생성할 수 있다.

일 실시예에 따르면, 상기 피사체는 이동 가능한 대상이며, 상기 복수의 2차원 이미지는, 고정 설치된 카메라가 이동하는 상기 피사체를 시간차를 두고 촬영한 이미지 및 서로 다른 위치에 설치된 카메라가 상기 피사체를 촬영한 이미지 중 적어도 하나를 포함할 수 있다.

일 실시예에 따르면, 상기 임의의 2차원 이미지는 상기 복수의 2차원 이미지의 촬영 시점보다 늦은 시점에 촬영된 이미지일 수 있다.

일 실시예에 따르면, 상기 임의의 2차원 이미지는 상기 피사체에 대한 실시간 이미지일 수 있다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 실시예에 의하면 적어도 다음과 같은 효과가 있다.

피사체를 촬영한 영상 내에서 피사체의 적어도 일부가 다른 물체 등에 의해 가려지는 경우에도 가려진 부분의 3차원 정보를 제공한다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 실시예에 따른 영상 처리 시스템을 도시한 블록도이다.
도 2는 본 발명의 실시예에 따른 영상 처리 시스템을 이용한 영상 처리 방법을 도시한 순서도이다.
도 3 내지 도 6은 본 발명의 실시예에 따른 영상 획득부에 의해 획득된 복수의 2차원 이미지의 일례를 도시한 도면이다.
도 7은 도 3 내지 도 6의 이미지들을 기초로 본 발명의 실시예에 따른 영상 처리 방법에 의해 생성된 3차원 모델링 이미지를 개략적으로 도시한 도면이다.
도 8은 본 발명의 실시예에 따른 영상 획득부에 의해 획득된 이미지 중, 피사체의 일부가 다른 물체에 의해 가려진 이미지의 일례를 도시한 도면이다.
도 9는 도 8의 이미지에서 피사체의 가려진 부분을 복원한 상태를 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

또한, 본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 개략도들을 참고하여 설명될 것이다. 따라서, 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 또한 본 발명에 도시된 각 도면에 있어서 각 구성 요소들은 설명의 편의를 고려하여 다소 확대 또는 축소되어 도시된 것일 수 있다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 본 발명의 실시예에 따른 영상 처리 시스템 및 영상 처리 방법을 설명하기 위한 도면들을 참고하여 본 발명에 대하여 설명하도록 한다.

도 1은 본 발명의 실시예에 따른 영상 처리 시스템을 도시한 블록도이다.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 영상 처리 시스템(1)은 복수 개의 영상 획득부(11, 12, 13), 영상 분리부(20), 3차원 모델 생성부(30), 처리부(40), 입력부(50) 및 디스플레이부(60)를 포함한다.

복수 개의 영상 획득부(11, 12, 13)는 각각 서로 다른 위치에 설치되는 제1 영상 획득부(11), 제2 영상 획득부(12), …, 제N 영상 획득부(13)를 포함한다. 각각의 영상 획득부들(11, 12, 13)은 2차원 이미지를 획득하는 촬영 유닛이다. 각각의 영상 획득부들(11, 12, 13)에 의해 획득되는 2차원 이미지들은 스틸 사진 및 동영상을 포함한다.

영상 분리부(20)는 복수 개의 영상 획득부(11, 12, 13)에 의해 획득된 2차원 이미지에서 피사체와 배경을 분리한다. 피사체는 2차원 이미지에 포함된 사람, 차량 등의 이동 가능한 대상일 수 있고, 배경은 2차원 이미지에서 피사체를 제외한 대상일 수 있다.

3차원 모델 생성부(30)는 영상 분리부(20)에 의해 2차원 이미지에서 분리된 피사체를 이용해 해당 피사체에 대한 3차원 모델링 정보를 축적 및 생성한다.

한 장의 2차원 이미지 내에 피사체의 정면 모습이 담겨 있다면 피사체의 측면 및 후면에 대한 정보가 없어서 온전한 3차원 모델링 정보를 생성할 수 없다. 그러나, 피사체를 서로 다른 각도에서 촬영한 복수 개의 2차원 이미지가 있다면 피사체에 대한 좀 더 구체적인 3차원 모델링 정보를 생성할 수 있다.

따라서, 복수 개의 영상 획득부(11, 12, 13) 중 적어도 하나의 영상 획득부에 의해 특정 피사체가 다양한 각도로 촬영된 복수 개의 2차원 이미지가 동시 또는 순차적으로 영상 분리부(20)에 전달되고, 영상 분리부(20)가 복수 개의 2차원 이미지로부터 다양한 각도의 피사체를 분리하면, 3차원 모델링 생성부(30)는 분리된 다양한 각도의 2차원 피사체 이미지를 합성하여 피사체에 대한 3차원 모델링 정보를 생성할 수 있다.

특정 피사체가 다양한 각도로 촬영된 복수 개의 2차원 이미지는, 복수 개의 영상 획득부(11, 12, 13)가 서로 다른 위치에서 피사체를 촬영한 이미지들이거나, 복수 개의 영상 획득부(11, 12, 13) 중 어느 하나가 이동하는 피사체를 시간의 경과에 따라 촬영한 이미지들일 수 있다. 복수 개의 영상 획득부(11, 12, 13)는 일정한 각도 범위에서 회전하며 피사체를 지속적으로 추적할 수 있는 구성을 가질 수 있다.

3차원 모델 생성부(30)는 시간이 지남에 따라 보다 다양한 각도에서 촬영된 2차원 피사체 이미지를 확보하게 되므로, 점진적으로 피사체에 대한 온전한 3차원 모델링 정보를 생성하게 된다.

한편, 처리부(40)는 3차원 모델 생성부(30)에서 생성한 3차원 모델링 정보를 복수 개의 영상 획득부(11, 12, 13)가 촬영한 2차원 이미지에 반영한다. 즉 2차원 이미지 내에서 배경은 2차원으로 유지되어 피사체는 3차원 모델링 정보가 반영된 이미지로 변환된다.

또한, 처리부(40)는 복수 개의 영상 획득부(11, 12, 13)가 촬영한 이미지 내에서 피사체의 적어도 일부가 배경에 의해 가려져 있는지 여부를 판단한다.

피사체의 적어도 일부가 배경에 의해 가려져 있는 경우에, 처리부(40)는 3차원 모델 생성부(30)에 의해 생성된 피사체에 대한 3차원 모델링 정보를 반영하여 배경에 의해 가려진 피사체의 일부를 복원하여 이미지 상에 표현한다.

이와 같은 기능을 통해, 피사체에 대한 온전한 정보를 지속적으로 확인할 수 있고, 피사체의 위치 및 행동 분석이 더욱 용이하게 된다.

한편, 디스플레이부(60)는 처리부(60)와 연결되어, 처리부(60)에 의해 피사체에 3차원 모델링 정보가 반영된 이미지를 디스플레이하게 된다.

따라서, 사용자는 복수 개의 영상 획득부(11, 12, 13)가 획득한 이미지에서 관심 대상인 피사체에 대한 3차원 정보를 확인할 수 있다.

또한, 복수 개의 영상 획득부(11, 12, 13)가 획득한 이미지에서 관심 대상이 아닌 배경 부분은 2차원으로 유지되므로, 피사체에 대한 3차원 모델링 연산 처리의 속도를 향상시킬 수 있다. 따라서, 복수 개의 영상 획득부(11, 12, 13)가 이미지를 획득하는 것과 해당 이미지에 피사체에 대한 3차원 정보를 반영하여 디스플레이하는 것이 거의 실시간으로 이루어질 수 있다.

한편, 처리부(40)와 연결되는 입력부(50)는, 사용자로부터 명령을 입력받는다. 사용자로부터 입력받는 명령은 복수 개의 영상 획득부(11, 12, 13)가 획득한 이미지들 중에서 피사체를 검색하는 명령, 복수 개의 피사체들 중 어느 하나의 피사체를 선택하는 명령 등이 될 수 있다.

예를 들어, 입력부(50)를 통해 특정 피사체를 검색하는 명령이 입력된 경우에, 처리부(40)는 복수 개의 영상 획득부(11, 12, 13)에 의해 획득된 이미지들 중에서 입력된 피사체에 대한 정보와 유사한 정보를 포함하는 이미지들을 추출하고 추출된 이미지들을 디스플레이부(60)를 통해 디스플레이 할 수 있다.

또한, 입력부(50)를 통해 복수 개의 피사체들 중 어느 하나의 피사체를 선택하는 명령이 입력된 경우에, 처리부(40)는 해당 명령이 입력된 이후의 시점부터 선택된 피사체가 포함된 이미지에서 피사체를 3차원 모델링 정보가 반영된 이미지로 변환하고, 디스플레이부(60)를 통해 디스플레이 할 수 있다.

입력부(50)는 사용자가 피사체의 검색 및 선택할 수 있는 UI(User Interface)를 갖추도록 구성된다.

도 2는 본 발명의 실시예에 따른 영상 처리 시스템을 이용한 영상 처리 방법을 도시한 순서도이다.

도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 영상 처리 방법은 복수의 2차원 이미지를 획득하는 단계(S11), 3차원 모델링 정보를 생성하는 단계(S12), 관심 피사체를 선택하는 단계(S13), 선택된 피사체 중 가려진 부분이 존재하는지 여부를 판단하는 단계(S14), 3차원 모델링 정보를 기초로 피사체의 가려진 부분을 복원하는 단계(S15) 및 2차원 이미지 내의 피사체를 3차원 모델링으로 표현하는 단계(S16)를 포함한다.

복수의 2차원 이미지를 획득하는 단계(S11)는 본 발명의 실시예에 따른 영상 처리 시스템(1)의 복수 개의 영상 획득부(11, 12, 13)에 의해 수행된다. 각각의 영상 획득부(11, 12, 13)는 복수의 2차원 이미지를 획득한다.

도 3 내지 도 6은 본 발명의 실시예에 따른 영상 획득부에 의해 획득된 복수의 2차원 이미지의 일례를 도시한 도면이다. 도 3 내지 도 6에 도시된 도면은 복수 개의 영상 획득부(11, 12, 13) 중 어느 하나의 영상 획득부가 일정 영역을 시간의 흐름에 따라 촬영한 이미지들이다.

도 3 내지 도 6에 도시된 바와 같이, 복수의 2차원 이미지 내에는 차량 이미지(100), 건물 이미지(200) 및 도로 이미지(300)가 포함되어 있다. 복수의 2차원 이미지에는 차량(100)의 전면, 좌우 측면, 후면 등에 대한 이미지가 기록되어 있다.

3차원 모델링 정보를 생성하는 단계(S12)는 본 발명의 실시예에 따른 영상 처리 시스템(1)의 영상 분리부(20) 및 3차원 모델 생성부(30)에 의해 수행된다.

영상 분리부(20)는 도 3 내지 도 6에 도시된 복수의 2차원 이미지 내에서 이동하는 대상인 차량 이미지(100)을 피사체로 분류하고, 건물 이미지(200)와 도로 이미지(300)는 배경으로 분류한다. 그리고, 복수의 2차원 이미지에서 각각 차량 이미지(100)를 분리한다.

본 실시예에서는 본 발명의 구체적으로 설명하기 위한 일례로서, 이동 가능한 피사체로 차량을 예시하고 있으나, 차량 이외의 사람, 동물 등의 이동 가능한 대상이 피사체가 될 수 있다.

3차원 모델링 생성부(30)는 영상 분리부(20)에 의해 분리된 다양한 각도의 차량 이미지(100)들을 기초로 해당 차량(100)에 대한 3차원 모델링 정보를 생성한다. 도 3 내지 도 6에 도시된 바와 같이, 각 2차원 이미지 내에는 차량(100)의 전면, 좌우 측면, 후면 등에 대한 이미지가 기록되어 있으므로, 이를 기초로 차량(100)의 3차원 모델링 정보를 생성한다. 설명의 편의를 위해 4장의 이미지만을 예시하였으나, 영상 획득부(11, 12, 13)가 동영상을 촬영할 수 있는 장비인 경우에는 수십장 이상의 이미지를 기초로 구체적인 3차원 모델링 정보를 생성할 수 있다.

도 7은 도 3 내지 도 6의 이미지들을 기초로 본 발명의 실시예에 따른 영상 처리 방법에 의해 생성된 3차원 모델링 이미지를 개략적으로 도시한 도면이다.

도 7에 도시된 바와 같이, 3차원 모델링 생성부(30)는 영상 분리부(20)에 의해 분리된 다양한 각도의 차량 이미지(100)들을 기초로 차량(100)에 대한 3차원 모델링 정보를 생성한다.

관심 피사체를 선택하는 단계(S13)는 본 발명의 실시예에 따른 영상 처리 시스템(1)의 입력부(50)를 이용해 수행된다.

사용자는 입력부(50)를 통해 관심 피사체를 검색 및/또는 선택한다. 사용자는 입력부(50)에 미리 세팅된 UI(User Interface)를 통해 관심 피사체를 검색 및/또는 선택할 수 있다.

본 실시예에서는 설명의 편의를 위해 사용자가 차량(100)을 관심 피사체로 선택한 것으로 가정하고 설명한다.

선택된 피사체 중 가려진 부분이 존재하는지 여부를 판단하는 단계(S14)는 본 발명의 실시예에 따른 영상 처리 시스템(1)의 처리부(40)에 의해 수행된다.

처리부(40)는 복수 개의 영상 획득부(11, 12, 13)에 의해 획득된 복수의 이미지 중 선택된 피사체(100)의 적어도 일부가 피사체 이외의 물체(200, 300)에 의해 가려진 부분이 존재하는지 여부를 판단한다.

도 8은 본 발명의 실시예에 따른 영상 획득부에 의해 획득된 이미지 중, 피사체의 일부가 다른 물체에 의해 가려진 이미지의 일례를 도시한 도면이다.

도 8에 도시된 바와 같이, 피사체인 차량 이미지(100) 중 전방 일부가 건물 이미지(200)에 의해 가려진 이미지에서 처리부(40)는 선택된 피사체(100) 중 가려진 부분이 존재하는 것으로 판단한다.

3차원 모델링 정보를 기초로 피사체의 가려진 부분을 복원하는 단계(S15) 역시 본 발명의 실시예에 따른 영상 처리 시스템(1)의 처리부(40)에 의해 수행된다.

처리부(40)는, 도 8과 같이 피사체(100) 중 일부 이미지가 피사체 이외의 물체(200)에 의해 가려진 경우에, 3차원 모델링 정보를 생성하는 단계(S12)에서 생성한 피사체(100)에 대한 3차원 모델링 정보를 이용해 피사체(100)의 가려진 부분을 복원한다.

도 9는 도 8의 이미지에서 피사체의 가려진 부분을 복원한 상태를 도시한 도면이다.

도 9에 도시된 바와 같이, 처리부(40)는 피사체인 차량 이미지(100) 중 건물 이미지(200)에 의해 가려진 전방 부분(102)을 차량(100)에 대한 3차원 모델링 정보를 이용해 복원한다.

2차원 이미지 내의 피사체를 3차원 모델링으로 표현하는 단계(S16)는 본 발명의 실시예에 따른 영상 처리 시스템(1)의 처리부(40) 및 디스플레이부(60)에 의해 수행된다.

선택된 피사체 중 가려진 부분이 존재하는지 여부를 판단하는 단계(S14)에서 피사체 중 가려진 부분이 존재하지 않는 것으로 판단된 이미지에 대해서는, 처리부(40)에 의해 피사체(100)의 이미지가 3차원 모델링 정보가 반영된 이미지로 변환된다. 이 때, 배경이 되는 피사체(100)이외의 대상(200, 300)은 2차원 이미지로 유지된다.

처리부(40)는 배경(200, 300)은 2차원 이미지로 유지되고 피사체(100)는 3차원 모델링 정보가 반영된 이미지로 변환된 이미지 데이터를 디스플레이부(40)를 통해 표현한다. 사용자는 디스플레이부(40)를 통해 관심 대상은 피사체(100)에 대한 3차원 정보를 확인할 수 있다.

한편, 선택된 피사체 중 가려진 부분이 존재하는지 여부를 판단하는 단계(S14)에서, 피사체 중 가려진 부분이 존재하는 것으로 판단된 이미지에 대해서는, 전술한 바와 같이, 처리부(40)에 의해 피사체(100)의 가려진 부분(102, 도 9 참고)이 복원된 상태로 디스플레이부(40)를 통해 표현된다. 이 경우에도, 배경(200, 300)은 2차원 이미지로 유지되고, 피사체(100)의 가려진 부분(102, 도 9 참고)과 가려지지 않은 부분(101, 도 9 참고)이 모두 3차원 모델링 정보가 반영된 이미지로 변환되어 디스플레이부(40)를 통해 표현된다.

전술한 구성에 의해 본 발명의 실시예에 따른 영상 처리 시스템(1) 및 영상 처리 방법은, 사용자가 선택한 피사체에 대한 복수 개의 이미지를 토대로 피사체에 대한 3차원 모델링 정보를 생성하고 이를 반영하여 사용자가 피사체를 선택한 이후부터는 선택된 피사체를 3차원 모델로 표현하여 피사체에 대한 구체적인 정보를 확인할 수 있게 한다. 또한, 피사체를 제외한 배경 부분에 대해서는 2차원 이미지를 유지하므로 피사체를 빠른 시간 내에 3차원 모델로 전환할 수 있으므로 실시간 이미지에 대해 피사체를 3차원 모델로 전환하여 표현할 수 있다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

1: 영상 처리 시스템
100: 피사체, 차량 이미지
200: 건물 이미지
300: 도로 이미지

Claims (5)

1. 적어도 하나의 피사체에 대해 복수 시점에서 촬영한 복수의 2차원 이미지를 획득하는 단계;
   상기 복수의 2차원 이미지로부터 상기 적어도 하나의 피사체의 3차원 모델링 정보를 생성하는 단계;
   상기 적어도 하나의 3차원 모델링된 피사체를 선택하는 단계;
   상기 선택된 피사체가 촬영된 임의의 2차원 이미지 내에서 상기 선택된 피사체의 적어도 일부가 상기 선택된 피사체 이외의 물체에 의해 가려져 있는지 여부를 판단하는 단계;
   상기 선택된 피사체의 적어도 일부가 상기 물체에 의해 가려져 있는 경우에, 상기 선택된 피사체에서 상기 물체에 의해 가려진 부분이 디스플레이 가능하도록 상기 선택된 피사체의 3차원 모델링 정보를 기초로 복원하는 단계; 및
   상기 물체에 의해 가려진 부분이 포함된 상기 피사체의 전체를 디스플레이하는 단계를 포함하되,
   상기 복수의 2차원 이미지에서 상기 선택된 피사체와 배경이 분리되고,
   상기 배경은 상기 복수의 2차원 이미지에 포함된 대상 중 상기 선택된 피사체를 제외한 나머지 대상을 포함하고,
   상기 배경은 2차원 이미지로 유지되고,
   상기 물체에 의해 가려진 부분은 상기 3차원 모델링 정보를 기초로 복원된 상태로 디스플레이 되는, 영상 처리 방법.
2. 삭제
3. 제1항에 있어서,
   상기 피사체는 이동 가능한 대상이며,
   상기 복수의 2차원 이미지는, 고정 설치된 카메라가 이동하는 상기 피사체를 시간차를 두고 촬영한 이미지 및 서로 다른 위치에 설치된 카메라가 상기 피사체를 촬영한 이미지 중 적어도 하나를 포함하는, 영상 처리 방법.
4. 제1항에 있어서,
   상기 임의의 2차원 이미지는 상기 복수의 2차원 이미지의 촬영 시기보다 늦은 시기에 촬영된 이미지인, 영상 처리 방법.
5. 제4항에 있어서,
   상기 임의의 2차원 이미지는 상기 피사체에 대한 실시간 이미지인, 영상 처리 방법.

Images