KR100588002B1 - 동영상에서 배경을 복원하기 위한 장치 및 그 방법 - Google Patents

동영상에서 배경을 복원하기 위한 장치 및 그 방법 Download PDF

Info

Publication number
KR100588002B1
KR100588002B1 KR1020050034890A KR20050034890A KR100588002B1 KR 100588002 B1 KR100588002 B1 KR 100588002B1 KR 1020050034890 A KR1020050034890 A KR 1020050034890A KR 20050034890 A KR20050034890 A KR 20050034890A KR 100588002 B1 KR100588002 B1 KR 100588002B1
Authority
KR
South Korea
Prior art keywords
background
image
viewpoint
information
frame
Prior art date
Application number
KR1020050034890A
Other languages
English (en)
Inventor
박창준
김홍석
김성은
이인호
김현빈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US11/283,118 priority Critical patent/US7555158B2/en
Application granted granted Critical
Publication of KR100588002B1 publication Critical patent/KR100588002B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K5/00—Casings, cabinets or drawers for electric apparatus
    • H05K5/02—Details
    • H05K5/0256—Details of interchangeable modules or receptacles therefor, e.g. cartridge mechanisms
    • H05K5/0286—Receptacles therefor, e.g. card slots, module sockets, card groundings

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Processing (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 동영상에서 배경을 복원하기 위한 장치 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 카메라의 움직임이 존재하는 상황에서, 영상 시퀀스에 존재하는 임의 영역을 삭제하고 그 영역에 의해 가려졌던 배경을 다른 시점의 영상을 이용하여 복원할 수 있는, 배경 복원 장치 및 방법을 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 입력 영상 시퀀스에서 임의의 영역을 삭제하고 그 배경을 복원하기 위한 배경 복원 장치로서, 상기 입력 영상 시퀀스를 저장하고, 영상을 촬영한 카메라의 3차원 위치 및 자세 정보, 초점 거리 정보를 저장하기 위한 저장수단; 상기 삭제 대상 임의 영역이 존재하는 영상 프레임(제1시점)에서, 그 프레임을 촬영한 카메라의 3차원 위치 및 자세 정보, 초점 거리 정보를 이용하여 제1시점에 대한 프로젝션 매트릭스를 생성하기 위한 프로젝션 매트릭스 생성수단; 상기 임의 영역에 의해 가려진 배경을 볼 수 있는 다른 시점의 영상 프레임에서, 그 프레임을 촬영한 카메라의 3차원 위치 및 자세 정보, 초점 거리 정보, 배경 영역 좌표를 이용하여 배경에 대한 3차원 기하 정보를 추출하기 위한 기하 정보 추출수단; 상기 프로젝션 매트릭스와 상기 다른 시점에서 추출된 배경에 대한 3차원 기하 정보를 곱하여 상기 제1시점으로 시점 변경된 배경 영상을 생성하기 위한 배경 영상 생성수 단; 및 제1시점으로 시점 변경된 배경 영상을 상기 제1시점의 임의 영역으로 삽입하여 배경을 복원하기 위한 배경 영상 삽입수단을 포함함.
4. 발명의 중요한 용도
본 발명은 컴퓨터 비젼 및 영상 처리 기술 등에 이용됨.
동영상, 카메라, 배경, 복원, 프로젝션 매트릭스

Description

동영상에서 배경을 복원하기 위한 장치 및 그 방법{Apparatus and Method for Recovering background in image sequence}
도 1은 종래의 배경 복원 원리를 설명하는 일실시예 도면,
도 2는 본 발명에 따른 동영상 배경 복원 장치의 일실시예 구성도,
도 3은 본 발명에 따른 동영상의 배경 복원 방법을 설명하는 일실시예 흐름도,
도 4a는 삭제 대상 물체를 포함하고 있는 영상 프레임 예시도,
도 4b는 삭제 대상 물체에 의해 가려졌던 배경을 관측할 수 있는 영상 프레임 예시도,
도 4c는 삭제 대상 물체에 의해 가려진 배경을 관측할 수 있는 다른 영상 프레임 예시도,
도 4d는 본 발명에 따라 물체를 삭제하고 배경을 복원한 일실시예 도면,
도 5a는 임의 시점의 영상 프레임 예시도,
도 5b는 도 5a의 영상 프레임을 기하학적으로 다른 시점의 영상 프레임으로 변형한 결과 예시도,
도 5c는 도 5b의 영상 프레임에 대해 보간 기법을 적용한 결과 예시도,
도 6a는 물체를 삭제하고 배경을 복원하고자 하는 원본 영상 예시도이고,
도 6b는 도 6a의 물체에 의해 가려진 배경을 볼 수 있는 다른 시점의 영상 예시도,
도 6c는 도 6b의 영상을 이용하여 도 6a의 배경을 복원한 영상 예시도이다.
* 도면의 주요 부분에 대한 부호의 설명
201 : 사용자 인터페이스부 202 : 저장부
203 : 프로젝션 매트릭스 생성부 204 : 기하 정보 추출부
205 : 배경 영상 생성부 206 : 배경 영상 삽입부
본 발명은 배경 복원 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 카메라의 움직임이 존재하는 영상 시퀀스에서, 임의 영역(객체)를 삭제하고 그 영역에 의해 가려진 배경을 복원하기 위한, 배경 복원 장치 및 그 방법에 관한 것이다.
도 1은 종래의 배경 복원 원리를 설명하는 일실시예 도면으로서, 도 1을 참조하여 종래의 배경 복원 원리를 설명하면 다음과 같다.
먼저, 움직이는 물체(102)가 촬영된 영상 시퀀스(101)를 입력받는다. 도 1에서 움직이는 물체(102)는 '구'이다.
이후, 움직이는 물체 영역을 검출한다. 즉, 입력 받은 영상 시퀀스에서 전후 프레임간의 차 영상을 이용하여 영상의 변화가 있는 부분을 검출한다. 도 1에서는 '구'를 감싸고 있는 사각형(103)을 영상의 변화가 있는 부분으로 검출한다.
이어서, 영상 각 프레임마다 영상의 변화가 있는 부분(103)을 제외한 나머지 부분을 복구시킬 배경 영역으로 간주한 후(104), 모든 프레임에 대해 이들을 모두 중첩시켜서 배경이 복원된 최종 영상(105)을 획득한다.
영상 시퀀스에서 영상의 변화가 없는 부분을 모아서 배경을 복원하는 이러한 종래의 배경 복원 방법은 영상을 촬영하는 카메라의 이동이나 회전이 있어서는 안된다. 따라서, 이러한 종래의 배경 복원 방법은 카메라의 모션이 있는 일반적인 영상 시퀀스에 적용되기 어려운 문제점이 있다.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 카메라의 움직임이 존재하는 상황에서, 영상 시퀀스에 존재하는 임의 영역을 삭제하고 그 영역에 의해 가려졌던 배경을 다른 시점의 영상을 이용하여 복원할 수 있는, 배경 복원 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 장치는, 입력 영상 시퀀스에서 임의의 영역을 삭제하고 그 배경을 복원하기 위한 배경 복원 장치로서, 상기 입력 영상 시퀀스를 저장하고, 영상을 촬영한 카메라의 3차원 위치 및 자세 정보, 초점 거리 정보를 저장하기 위한 저장수단; 상기 삭제 대상 임의 영역이 존재하는 영상 프레임(제1시점)에서, 그 프레임을 촬영한 카메라의 3차원 위치 및 자세 정보, 초점 거리 정보를 이용하여 제1시점에 대한 프로젝션 매트릭스를 생성하기 위한 프로젝션 매트릭스 생성수단; 상기 임의 영역에 의해 가려진 배경을 볼 수 있는 다른 시점의 영상 프레임에서, 그 프레임을 촬영한 카메라의 3차원 위치 및 자세 정보, 초점 거리 정보, 배경 영역 좌표를 이용하여 배경에 대한 3차원 기하 정보를 추출하기 위한 기하 정보 추출수단; 상기 프로젝션 매트릭스와 상기 다른 시점에서 추출된 배경에 대한 3차원 기하 정보를 곱하여 상기 제1시점으로 시점 변경된 배경 영상을 생성하기 위한 배경 영상 생성수단; 및 제1시점으로 시점 변경된 배경 영상을 상기 제1시점의 임의 영역으로 삽입하여 배경을 복원하기 위한 배경 영상 삽입수단을 포함하는 것을 특징으로 한다.
또한, 본 발명의 방법은, 입력 영상 시퀀스에서 임의의 영역을 삭제하고 그 배경을 복원하기 위한 배경 복원 방법으로서, 상기 삭제 대상 임의 영역이 존재하는 프레임(제1시점)에서, 그 프레임을 촬영한 카메라의 3차원 위치 및 자세 정보, 초점 거리 정보를 이용하여 제1시점에 대한 프로젝션 매트릭스를 생성하는 프로젝션 매트릭스 생성단계; 상기 삭제 대상 임의 영역에 의해 가려진 배경을 볼 수 있 는 다른 시점의 영상 프레임에서, 그 프레임을 촬영한 카메라의 3차원 위치 및 자세 정보, 초점 거리 정보, 배경 영역 좌표를 이용하여 상기 가려진 배경에 대한 3차원 기하 정보를 추출하는 기하 정보 추출단계; 상기 프로젝션 매트릭스와 상기 다른 시점에서 추출된 배경에 대한 3차원 기하 정보를 곱하여 제1시점으로 시점 변경된 배경 영상을 생성하는 배경 영상 생성단계; 및 제1시점으로 시점 변경된 배경 영상을 상기 제1시점의 임의 영역으로 삽입하여 배경을 복원하는 배경 영상 삽입단계를 포함하는 것을 특징으로 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 2는 본 발명에 따른 동영상 배경 복원 장치의 일실시예 구성도이다.
도 2에 도시된 바와 같이, 본 발명에 따른 동영상 배경 복원 장치는 사용자 인터페이스부(201), 저장부(202), 프로젝션 매트릭스 생성부(203), 기하 정보 추출부(204), 배경 영상 생성부(205) 및 배경 영상 삽입부(206)를 포함한다.
저장부(202)는 외부로부터 입력되는 영상 시퀀스를 저장한다. 이 때, 카메라 의 3차원 위치 및 자세 정보는 함께 입력되어 저장된다. 즉, 각 영상 프레임에 대해 그 영상 프레임을 촬영한 카메라의 3차원 위치 및 자세 정보, 초점 거리 정보 그리고 배경 영역의 좌표 등이 저장된다.
프로젝션 매트릭스 생성부(203)는 사용자가 인터페이스부(201)를 통해 영상 시퀀스에서 임의의 영역(이하, "삭제 대상 물체"라 한다)을 삭제하기 위해 지정하면, 그 삭제 대상 물체가 존재하는 프레임(이하, "제1시점"이라 한다)을 촬영한 카메라의 3차원 위치 및 자세 정보, 초점 거리 정보를 이용하여 제1시점에 대한 프로젝션 매트릭스를 생성한다.
기하 정보 추출부(204)는 상기 삭제 대상 물체에 의해 가려진 배경을 볼 수 있는 다른 두개의 영상 프레임에서 그 가려진 배경 영역에 대한 3차원 기하 정보를 추출한다. 즉, 상기 삭제 대상 물체의 의해 가려진 배경을 볼 수 있는 제2시점의 영상 프레임에서 그 프레임을 촬영한 카메라의 3차원 위치 및 자세 정보, 초점 거리 정보, 배경 영역 좌표와, 상기 가려진 배경을 볼 수 있는 제3시점의 영상 프레임에서 그 프레임을 촬용한 카메라의 3차원 위치 및 자세 정보, 초점 거리 정보, 상기 제2시점에서 지정한 동일한 배경 영역에 대한 좌표를 이용하여 상기 가려진 배경 영역에 대한 3차원 기하 정보를 추출한다.
배경 영상 생성부(205)는 상기 제1시점에 대한 프로젝션 매트릭스와 상기 기하 정보 추출부(204)에서 추출된 배경 영역에 대한 3차원 기하 정보를 곱하여 상기 제1시점으로 시점 변경된 배경 영역을 생성한다. 즉, 제1시점에서 가려진 배경 영역에 대한 3차원 기하 정보를 제2시점 및 제3시점에서 추출하고, 그 3차원 기하 정 보를 제1시점에 대한 프로젝션 매트릭스와 곱하여 제1시점으로 시점 변경된 배경 영상을 생성한다.
배경 영상 삽입부(206)는 배경 영상 생성부(205)에서 생성된 제1시점으로 시점 변경된 배경 영상을 상기 제1시점의 삭제 대상 물체 영역으로 삽입하여 배경을 복원한다.
한편, 배경 영상 생성부(205)에서 생성된 제1시점으로 시점 변경된 배경 영상을 보간하여 해상도를 보정할 수 있다. 즉, 상기 배경 영상 생성부(205)에서 제1시점으로 시점 변경된 배경 영상을 생성하면 영상 화질 열화가 발생할 수 있다. 따라서, 보간(interpolation) 기법을 적용함으로써 해상도가 보정된 깨끗한 영상을 획득할 수 있다.
도 3은 본 발명에 따른 동영상의 배경 복원 방법을 설명하는 일실시예 흐름도이다.
도 3에 도시된 바와 같이, 먼저, 입력 영상 시퀀스의 삭제 대상 물체가 존재하는 프레임(제1시점)에서, 그 프레임을 촬영한 카메라의 3차원 위치 및 자세 정보와, 초점 거리 정보를 이용하여 제1시점에 대한 프로젝션 매트릭스를 생성한다(301).
이어서, 삭제 대상 물체에 의해 가려진 배경이 보이는 다른 시점 영상 프레임(제2시점)에서, 그 프레임을 촬영한 카메라의 위치 및 자세 정보, 초점 거리 정보와 가려졌던 배경 영역 좌표를 저장한다(302).
이어서, 삭제 대상 물체에 의해 가려진 배경이 보이는 또다른 시점 영상 프레임(제3시점)에서, 그 프레임을 촬영한 카메라의 위치 및 자세 정보, 초점 거리 정보와 가려졌던 배경 영역 좌표를 저장한다(303).
이어서, 상기 제2시점과 제3시점에서의 카메라 위치 및 자세 정보, 초점 거리 정보와 가려졌던 배경 영역 좌표를 이용하여 배경 영역에 대한 3차원 기하 정보를 추출한다(304). 이 때, 대응점 정합을 이용한다.
이어서, 추출된 배경 영역에 대한 3차원 기하 정보와 상기 제1시점에 대한 프로젝션 매트릭스를 곱하여 제1시점으로 시점 변경된 배경 영상을 생성한다(305). 즉, 제1시점에서 삭제 대상 물체에 의해 가려진 배경 영상을 생성한다.
다음으로, 생성된 배경 영상을 상기 제1시점의 삭제 대상 물체 영역에 대입함으로써, 최종적으로 삭제 대상 물체가 삭제되고 배경이 복원된 영상을 획득한다(306).
한편, 상기 305 단계에서 생성된 제1시점으로 시점 변경된 배경 영상을 보간하여 해상도를 보정할 수 있다. 즉, 상기 305 단계에서 제1시점으로 시점 변경된 배경 영상을 생성하면 영상 화질 열화가 발생할 수 있다. 따라서, 보간(interpolation) 기법을 적용함으로써 해상도가 보정된 깨끗한 영상을 획득할 수 있다.
도 4a는 삭제 대상 물체를 포함하고 있는 영상 프레임 예시도, 도 4b는 삭제 대상 물체에 의해 가려진 배경을 관측할 수 있는 영상 프레임 예시도, 도 4c는 삭 제 대상 물체에 의해 가려진 배경을 관측할 수 있는 다른 영상 프레임 예시도, 도 4d는 본 발명에 따라 물체를 삭제하고 배경을 복원한 일실시예 도면이다.
먼저, 도 4a에 도시된 바와 같이 영상 프레임에서 삭제 대상 물체(401)가 지정되면, 그 영상 프레임(제1시점)을 촬영한 카메라(402)의 3차원 위치 및 자세, 초점 거리를 이용하여 제1시점에 대한 프로젝션 매트릭스를 생성한다.
이 후, 도 4b에 도시된 바와 같이, 삭제 대상 물체에 의해 가려졌던 배경(403)을 볼 수 있는 다른 시점(제2시점)의 영상 프레임에서, 그 영상 프레임을 촬영한 카메라(404)의 3차원 위치 및 자세, 초점 거리, 배경 영역 좌표를 저장한다.
또한, 도 4c에 도시된 바와 같이, 삭제 대상 물체에 의해 가려졌던 배경(403)을 볼 수 있는 또다른 시점(제3시점)의 영상 프레임에서, 그 영상 프레임을 촬영한 카메라(405)의 3차원 위치 및 자세, 초점 거리, 배경 영역 좌표를 저장한다.
그리고, 본 발명에 따라 배경을 복원하면, 도 4d에 도시된 바와 같이, 물체는 삭제되고, 그 부분의 배경은 복원된다.
도 5a는 임의 시점의 영상 프레임, 도 5b는 도 5a의 영상 프레임을 기하학적으로 다른 시점의 영상 프레임으로 변형한 결과, 도 5c는 도 5b의 영상 프레임에 대해 보간 기법을 적용한 결과이다.
본 발명은 임의의 영상 프레임(제1시점)에서 어떠한 물체를 삭제하고 그 물체의 배경을 복원하기 위해, 상기 물체에 의해 가려진 배경을 볼 수 있는 다른 시 점의 영상 프레임(제2, 3시점)을 이용한다. 즉, 제2, 3시점의 영상 정보를 이용하여 제1시점의 영상을 복원한다.
즉, 도 5a는 상기 다른 시점의 영상에 대한 예시도이고, 도 5b는 도 5a의 영상 프레임을 상기 제1시점으로 변형한 예시도이고, 도 5c는 도 5b의 영상 프레임에 대해 보간 기법을 적용하여 해상도를 보정한 예시도이다.
도 6a는 물체를 삭제하고 배경을 복원하고자 하는 원본 영상 예시도이고, 도 6b는 도 6a의 물체에 의해 가려진 배경을 볼 수 있는 다른 시점의 영상 예시도, 도 6c는 도 6b의 영상을 이용하여 도 6a의 배경을 복원한 영상 예시도이다.
즉, 도 6a에서 임의의 영역(701)을 삭제하고 그 영역(701)의 배경을 복원하고자 하는 경우, 도 6a의 배경을 볼 수 있는 다른 시점의 영상, 즉 도 6b와 같은 영상을 이용하여 배경을 복원한다.
부연하면, 도 6a를 촬영한 카메라의 3차원 위치 및 자세 정보, 초점 거리를 이용하여 프로젝션 매트릭스를 생성하고, 생성된 프로젝션 매트릭스와 도 6b의 삭제 대상 영역(701)의 3차원 기하정보를 곱하여 도 6b의 배경을 도 6a의 시점을 갖는 2차원 영상으로 변형한다. 그리고, 변형된 2차원 영상을 깊이 정보를 반영하여 도 6a의 삭제 대상 영역(701)에 삽입함으로써, 최종적으로 도 6c와 같은 영상을 획득한다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같은 본 발명은, 자유로운 카메라 움직임이 허용되며, 물체가 배경에 비해 움직이지 않고 정지된 상태에서도 물체를 삭제하고 물체에 의해 가려졌던 배경을 복원할 수 있는 효과가 있다.

Claims (6)

  1. 입력 영상 시퀀스에서 임의의 영역을 삭제하고 그 배경을 복원하기 위한 배경 복원 장치로서,
    상기 입력 영상 시퀀스를 저장하고, 영상을 촬영한 카메라의 3차원 위치 및 자세 정보, 초점 거리 정보를 저장하기 위한 저장수단;
    상기 삭제 대상 임의 영역이 존재하는 영상 프레임(제1시점)에서, 그 프레임을 촬영한 카메라의 3차원 위치 및 자세 정보, 초점 거리 정보를 이용하여 제1시점에 대한 프로젝션 매트릭스를 생성하기 위한 프로젝션 매트릭스 생성수단;
    상기 임의 영역에 의해 가려진 배경을 볼 수 있는 다른 시점의 영상 프레임에서, 그 프레임을 촬영한 카메라의 3차원 위치 및 자세 정보, 초점 거리 정보, 배경 영역 좌표를 이용하여 배경에 대한 3차원 기하 정보를 추출하기 위한 기하 정보 추출수단;
    상기 프로젝션 매트릭스와 상기 다른 시점에서 추출된 배경에 대한 3차원 기하 정보를 곱하여 상기 제1시점으로 시점 변경된 배경 영상을 생성하기 위한 배경 영상 생성수단; 및
    제1시점으로 시점 변경된 배경 영상을 상기 제1시점의 임의 영역으로 삽입하여 배경을 복원하기 위한 배경 영상 삽입수단
    을 포함하는 배경 복원 장치.
  2. 제 1 항에 있어서,
    상기 기하 정보 추출수단은,
    상기 임의 영역에 의해 가려진 배경을 볼 수 있는 다른 시점의 영상 프레임(제2시점)에서 그 프레임을 촬영한 카메라의 3차원 위치 및 자세 정보, 초점 거리 정보, 배경 영역 좌표와, 상기 임의 영역에 의해 가려진 배경을 볼 수 있는 또다른 시점의 영상 프레임(3시점)에서 그 프레임을 촬영한 카메라의 3차원 위치 및 자세 정보, 초점 거리 정보, 배경 영역 좌표를 이용하여 상기 가려진 배경에 대한 3차원 기하 정보를 추출하는 것을 특징으로 하는 배경 복원 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 배경 영상 생성수단에서 생성된 제1시점으로 시점 변경된 배경 영상을 보간하여 해상도를 보정하기 위한 해상도 보간수단
    을 더 포함하는 배경 복원 장치.
  4. 입력 영상 시퀀스에서 임의의 영역을 삭제하고 그 배경을 복원하기 위한 배경 복원 방법으로서,
    상기 삭제 대상 임의 영역이 존재하는 프레임(제1시점)에서, 그 프레임을 촬 영한 카메라의 3차원 위치 및 자세 정보, 초점 거리 정보를 이용하여 제1시점에 대한 프로젝션 매트릭스를 생성하는 프로젝션 매트릭스 생성단계;
    상기 삭제 대상 임의 영역에 의해 가려진 배경을 볼 수 있는 다른 시점의 영상 프레임에서, 그 프레임을 촬영한 카메라의 3차원 위치 및 자세 정보, 초점 거리 정보, 배경 영역 좌표를 이용하여 상기 가려진 배경에 대한 3차원 기하 정보를 추출하는 기하 정보 추출단계;
    상기 프로젝션 매트릭스와 상기 다른 시점에서 추출된 배경에 대한 3차원 기하 정보를 곱하여 제1시점으로 시점 변경된 배경 영상을 생성하는 배경 영상 생성단계; 및
    제1시점으로 시점 변경된 배경 영상을 상기 제1시점의 임의 영역으로 삽입하여 배경을 복원하는 배경 영상 삽입단계
    를 포함하는 배경 복원 방법.
  5. 제 4 항에 있어서,
    상기 기하 정보 추출단계는,
    상기 삭제 대상 임의 영역에 의해 가려진 배경을 볼 수 있는 다른 시점의 영상 프레임(제2시점)에서 그 프레임을 촬영한 카메라의 3차원 위치 및 자세 정보, 초점 거리 정보, 배경 영역 좌표와, 상기 임의 영역에 의해 가려진 배경을 볼 수 있는 또다른 시점의 영상 프레임(3시점)에서 그 프레임을 촬영한 카메라의 3차원 위치 및 자세 정보, 초점 거리 정보, 배경 영역 좌표를 이용하여 상기 가려진 배경에 대한 3차원 기하 정보를 추출하는 것을 특징으로 하는 배경 복원 방법.
  6. 제 4 항 또는 제 5 항에 있어서,
    상기 배경 영상 생성단계에서 생성된 제1시점으로 시점 변경된 배경 영상을 보간하여 해상도를 보정하는 해상도 보간단계
    를 더 포함하는 배경 복원 방법.
KR1020050034890A 2004-12-07 2005-04-27 동영상에서 배경을 복원하기 위한 장치 및 그 방법 KR100588002B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/283,118 US7555158B2 (en) 2004-12-07 2005-11-18 Apparatus for recovering background in image sequence and method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020040102663 2004-12-07
KR20040102663 2004-12-07

Publications (1)

Publication Number Publication Date
KR100588002B1 true KR100588002B1 (ko) 2006-06-08

Family

ID=37182525

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050034890A KR100588002B1 (ko) 2004-12-07 2005-04-27 동영상에서 배경을 복원하기 위한 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100588002B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101367284B1 (ko) 2008-01-28 2014-02-26 삼성전자주식회사 시점 변화에 따른 영상 복원 방법 및 장치
WO2020262977A1 (ko) * 2019-06-26 2020-12-30 유수연 인공지능을 이용하여 이미지의 객체를 제거하는 방법
US11579746B2 (en) 2020-12-31 2023-02-14 Korea Institute Of Science And Technology Dynamic image capturing apparatus and method using arbitrary viewpoint image generation technology

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101367284B1 (ko) 2008-01-28 2014-02-26 삼성전자주식회사 시점 변화에 따른 영상 복원 방법 및 장치
WO2020262977A1 (ko) * 2019-06-26 2020-12-30 유수연 인공지능을 이용하여 이미지의 객체를 제거하는 방법
KR20210000872A (ko) * 2019-06-26 2021-01-06 유수연 인공지능을 이용하여 이미지의 객체를 제거하는 방법
KR102231794B1 (ko) * 2019-06-26 2021-03-25 유수연 인공지능을 이용하여 이미지의 객체를 제거하는 방법
US11579746B2 (en) 2020-12-31 2023-02-14 Korea Institute Of Science And Technology Dynamic image capturing apparatus and method using arbitrary viewpoint image generation technology

Similar Documents

Publication Publication Date Title
US7555158B2 (en) Apparatus for recovering background in image sequence and method thereof
KR102135770B1 (ko) 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치
KR101367284B1 (ko) 시점 변화에 따른 영상 복원 방법 및 장치
KR100914845B1 (ko) 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 방법및 장치
JP5818773B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6857980B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
KR101801749B1 (ko) 3차원 복원을 위한 다중시점 영상 디블러링 방법, 이를 수행하기 위한 기록 매체 및 장치
JP7062506B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5015126B2 (ja) 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体
JP2008535116A (ja) ３次元レンダリング用の方法及び装置
NZ565418A (en) Methodology for 3D scene reconstruction from 2D image sequences
JP5965293B2 (ja) カメラポーズ推定装置、及びカメラポーズ推定プログラム
JP2008191072A (ja) ３次元形状復元方法，３次元形状復元装置，その方法を実装した３次元形状復元プログラム及びそのプログラムを記録した記録媒体
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
KR101828805B1 (ko) 스테레오 카메라의 3차원 줌 영상 생성 방법 및 장치
JP2016071645A (ja) オブジェクト３次元モデル復元方法、装置およびプログラム
KR100588002B1 (ko) 동영상에서 배경을 복원하기 위한 장치 및 그 방법
EP4032255A1 (en) A method for capturing and displaying a video stream
KR20190129433A (ko) 파노라마 영상 생성 방법 및 그 장치
KR20190055632A (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
JP4578653B2 (ja) 奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002032743A (ja) ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム提供媒体
CN104463958A (zh) 基于视差图融合的三维超分辨率方法
JP4178878B2 (ja) 画像処理方法及び装置
Cheng et al. Hybrid depth cueing for 2D-to-3D conversion system

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130527

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140529

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150527

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160527

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20190527

Year of fee payment: 14