KR20090049670A - 피사체의 3차원 좌표 검출방법 및 그 방법을 컴퓨터에서실행시키기 위한 프로그램을 기록한 기록매체 - Google Patents

피사체의 3차원 좌표 검출방법 및 그 방법을 컴퓨터에서실행시키기 위한 프로그램을 기록한 기록매체 Download PDF

Info

Publication number
KR20090049670A
KR20090049670A KR1020070115855A KR20070115855A KR20090049670A KR 20090049670 A KR20090049670 A KR 20090049670A KR 1020070115855 A KR1020070115855 A KR 1020070115855A KR 20070115855 A KR20070115855 A KR 20070115855A KR 20090049670 A KR20090049670 A KR 20090049670A
Authority
KR
South Korea
Prior art keywords
camera
coordinates
dimensional
subject
dimensional coordinates
Prior art date
Application number
KR1020070115855A
Other languages
English (en)
Other versions
KR100908084B1 (ko
Inventor
용승준
Original Assignee
주식회사 영구아트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 영구아트 filed Critical 주식회사 영구아트
Priority to KR1020070115855A priority Critical patent/KR100908084B1/ko
Publication of KR20090049670A publication Critical patent/KR20090049670A/ko
Application granted granted Critical
Publication of KR100908084B1 publication Critical patent/KR100908084B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing

Abstract

본 발명은 피사체의 3차원 좌표 검출방법에 관한 것으로, 복수의 프레임 영상에 대하여 각 프레임 영상의 카메라의 좌표정보 및 카메라의 회전정보를 이용하여 카메라 트랜스폼정보를 산출하는 단계와, 복수의 프레임 영상 중에서 피사체의 동일 영역에 해당하는 화소들에 대한 2차원 좌표들을 검출하는 단계와, 각 프레임 영상의 카메라 트랜스폼정보를 이용하여 각 프레임 영상 중에서 검출된 2차원 좌표들을 3차원 좌표들로 변환하는 단계와, 동일 시각에 대한 변환된 3차원 좌표들과 카메라의 좌표정보들을 각각 직선으로 연결하고, 연결된 직선의 교차점들을 이용하여 3차원의 피사체 객체 좌표를 산출하는 단계를 포함한다. 이에 의해, 메쉬(mesh) 환경 수정, 추가 요청 사항 및 변동 사항에 빠르게 대처할 수 있으며, 검출된 3차원 좌표를 기본으로 하여 작업을 수행하게 됨으로써 작업자의 작업루트의 간소화로 인한 시간의 효율적 활용 및 해당 작업자의 작업 능률을 향상시킬 수 있는 효과가 있다.

Description

피사체의 3차원 좌표 검출방법 및 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체{method for detecting 3-dimensional coordinates of subject for photography and memory media recording program to operate the method}
본 발명은 피사체의 3차원 좌표 검출방법 및 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체에 관한 것으로, 상세하게는 카메라의 시각을 바탕으로 하여 3차원 좌표를 검출함으로써 메쉬(mesh) 환경 수정, 추가 요청 사항 및 변동 사항에 빠르게 대처할 수 있도록 한 피사체의 3차원 좌표 검출방법 및 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체에 관한 것이다.
영상제작자들은 영상제작기술이 발전을 거듭하게 됨에 따라 좋은 비주얼(visual)을 만들기 위해 3차원 기술을 도입하고 있다.
이에 많은 영상 제작용 3차원 소프트웨어가 개발되었고 3차원 영상을 실 촬영된 영상에 합성하기 위한 초기 레이아웃(layout)단계로서 매치무브(matchmove)를 하게 되었고, 이에 가공된 카메라의 환경 데이터, 즉, 메쉬(mesh)화된 환경 데이터를 추출하는 기술을 필요로 하게 되었다.
그러나 종래의 영상 제작용 3차원 소프트웨어의 경우에는 실 촬영된 영상에 가공의 3차원의 영상을 합성하는 과정에서 실 촬영된 영상이 이동하거나 회전하면 합성 화면에 오차가 발생하게 되었다. 이 경우 이러한 오차를 줄이기 위해, 즉 레이아웃(layout)단계에서 일괄 처리하던 메쉬(mesh) 환경 수정과 추가 요청사항 및 변동사항이 발생하면 다시 매치무버(matchmover)로 전달되어 이를 처리한 후 다시 전달하게 됨으로써 3차원 매치(match) 데이터의 활용이 비효율적이었으며, 반복작업으로 인한 작업자의 업무 로드가 발생하는 문제점이 있다.
따라서 본 발명은 상술한 문제점을 해결하기 위해, 카메라의 시각을 바탕으로 하여 3차원 좌표를 검출함으로써 메쉬(mesh) 환경 수정, 추가 요청 사항 및 변동 사항에 빠르게 대처할 수 있는 피사체의 3차원 좌표 검출방법 및 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 제공하는데 그 목적이 있다.
또한, 본 발명은 검출된 3차원 좌표를 기본으로 하여 작업을 수행하게 됨으로써 작업자의 작업루트의 간소화로 인한 시간의 효율적 활용 및 해당 작업자의 작업 능률을 향상시킬 수 있는 한 피사체의 3차원 좌표 검출방법 및 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 제공하는데 그 목적이 있다.
상술한 목적을 달성하기 위해, 본 발명에 따른 피사체의 3차원 좌표 검출방법은, 복수의 프레임 영상에 대하여 각 프레임 영상으로부터 카메라의 좌표정보 및 카메라의 회전정보를 검출하는 단계와, 상기 각 프레임 영상에 대하여 상기 카메라의 좌표정보 및 상기 카메라의 회전정보를 이용하여 카메라 트랜스폼정보를 산출하는 단계와, 상기 복수의 프레임 영상 중에서 피사체의 동일 영역에 해당하는 화소들이 선택되면, 상기 화소들에 대한 2차원 좌표들을 검출하는 단계와, 상기 각 프레임 영상의 카메라 트랜스폼정보를 이용하여 상기 각 프레임 영상 중에서 검출된 상기 2차원 좌표들을 3차원 좌표들로 변환하는 단계와, 동일 시각에 대한 상기 3차원 좌표들과 상기 카메라의 좌표정보들을 각각 직선으로 연결하고, 상기 연결된 직선의 교차점들을 이용하여 3차원의 피사체 객체 좌표를 산출하는 단계를 포함한다.
또한, 상기 화소들에 대한 2차원 좌표를 검출하는 단계로부터 상기 3차원의 피사체 객체 좌표를 산출하는 단계를 반복하여 상기 복수의 프레임 영상 중의 다수의 동일 영역에 대한 3차원의 피사체 객체 좌표들을 산출하는 단계를 포함하는 것이 바람직하다.
또한, 상기 3차원의 피사체 객체 좌표들을 연결하여 상기 복수의 프레임 영상 중에서 피사체의 동일 영역임을 표시하는 화소들이 선택된 위치들에 대한 메쉬 형태의 3차원의 피사체 객체 영상을 생성하는 단계를 포함하는 것이 바람직하다.
또한, 상기 복수의 프레임 영상에 대하여 각 프레임 영상으로부터 상기 카메라의 수평화각을 더 검출하고, 상기 2차원 좌표들을 상기 3차원 좌표들로 변환하는 단계는 상기 카메라의 수평화각을 더 이용하여 변환하는 것이 바람직하다.
또한, 상기 2차원 좌표들을 3차원 좌표로 변환하는 단계는 상기 카메라의 수직화각을 산출하고, 상기 수직화각을 더 이용하여 변환하는 것이 바람직하다.
또한, 상기 연결된 직선의 교차점들의 이용은 상기 연결된 직선들 간의 거리가 최소로 되는 지점을 이용하는 것을 포함하는 것이 바람직하다.
또한, 상술한 목적을 달성하기 위한 본 발명에 따른 저장매체는 상술한 피사체의 3차원 좌표 검출 방법에서의 각 단계들을 컴퓨터에서 실행시키기 위한 프로그 램을 저장한 저장매체이다.
이상에서 설명한 바와 같이 본 발명에 따른 피사체의 3차원 좌표 검출방법 및 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체는 카메라의 시각을 바탕으로 하여 3차원 좌표를 검출함으로써 메쉬(mesh) 환경 수정, 추가 요청 사항 및 변동 사항에 빠르게 대처할 수 있다.
또한 본 발명에 따른 피사체의 3차원 좌표 검출방법 및 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체는, 검출된 3차원 좌표를 기본으로 하여 작업을 수행하게 됨으로써 작업자의 작업루트의 간소화로 인한 시간의 효율적 활용 및 해당 작업자의 작업 능률을 향상시킬 수 있다.
또한 본 발명에 따른 피사체의 3차원 좌표 검출방법 및 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체는 영상 제작의 과정에서 가장 중요하고 그 결과의 번복이 어려운 분야인 매치무브와 레이아웃의 작업 플로우를 개선 보완하는데 매우 효과적이다. 예를 들면, 초기 매치무브 작업이 부정확하여 발생할 매트페인팅 작업물을 영상에 트래킹하여 부착하는 부분이나 3차원 캐릭터의 위치 설정 등에서 다소 부정확한 화각의 이유로 흔들리거나 영상과 다르게 밀리는 현상이 나타날 때 이를 효과적으로 조정할 수 있다.
본 발명의 다른 목적, 특징 및 장점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
이하, 본 발명에 따른 피사체의 3차원 좌표 검출방법에 대하여 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.
도 1은 본 발명의 일실시예에 따른 피사체의 3차원 좌표 검출방법이 적용되는 피사체의 3차원 좌표 검출장치의 개략적인 블록 구성을 나타낸 도면이다.
도 1에 도시된 바와 같이, 피사체의 3차원 좌표 검출방법이 적용되는 피사체의 3차원 좌표 검출장치는 카메라(110), 컴퓨터(120) 및 디스플레이부(130)를 구비한다.
카메라(110)는 고정된 피사체 주위를 이동 및 회전하면서 아날로그 영상을 촬영하고, 촬영된 아날로그 영상을 디지털 영상으로 변환하여 각 프레임별 디지털 영상이 담긴 시퀀스 데이터를 저장한다.
컴퓨터(120)는 카메라(110)에 의해 촬영된 피사체의 3차원 좌표를 검출하기 위해, 입력부(122), 저장부(124), 및 제어부(126)를 구비한다.
입력부(122)는 사용자가 피사체의 3차원 좌표 검출을 위해 조작하기 위한 것으로, 키보드(미도시됨)뿐만 아니라 터치스크린(미도시됨) 등을 포함한다.
저장부(124)에는 촬영된 피사체의 3차원 좌표를 검출하기 위해, 카메라(110)에 저장된 각 프레임별 디지털 영상이 담긴 시퀀스 데이터가 저장된다. 또한 촬영된 3차원 좌표를 검출하는 과정에서 생성된 각종 정보, 즉, 좌표정보, 회전정보, 화각정보 및 카메라 트랜스폼정보 등이 저장될 수 있다.
제어부(126)는 카메라(110)로부터 각 프레임별 디지털 영상이 담긴 시퀀스 데이터를 읽어내어 저장부(124)에 저장하도록 제어하고, 입력부(122)를 통한 사용자의 조작에 따라 저장부(124)에 저장된 디지털 영상이 담긴 시퀀스 데이터로부터 디지털 영상을 복원하고 디스플레이부(130)에 표시하도록 제어한다.
디스플레이부(130)에는 입력부(122)를 통한 사용자의 조작에 따라 고정된 피사체 주위를 이동 및 회전하면서 촬영된 다수의 디지털 영상이 순차적으로 표시되고, 또한 사용자가 선택한 적어도 서로 다른 두 프레임 이상의 디지털 영상이 표시되고, 적어도 서로 다른 두 프레임 이상의 디지털 영상을 이용하여 얻은 3차원의 피사체 객체 좌표들이 표시된다.
본 발명에 따른 제어부(126)의 동작을 좀 더 상세히 설명하면, 제어부(126)는 입력부(122)를 통한 사용자의 조작에 따라 3차원 소프트웨어의 하나인 매치무버(matchmover)를 실행한다. 그 후 제어부(126)는 입력부(122)를 통한 사용자의 조작에 따라 저장부(124)에 저장된 시퀀스 데이터로부터 각 프레임별 디지털 영상을 복원하고, 각 프레임별 디지털 영상을 디스플레이부(130)에 순차적으로 표시한다.
제어부(126)는 디스플레이부(130)에 순차적으로 표시되는 각 프레임별 디지털 영상 중에서 입력부(122)를 통해 사용자가 선택한 적어도 서로 다른 두 프레임의 디지털 영상들을 디스플레이부(130)에 재배치하여 표시한다. 이 경우, 제어부(126)는 입력부(122)를 통해 사용자가 선택한 적어도 서로 다른 두 프레임의 디지털 영상이 담긴 시퀀스 데이터로부터 서로 다른 두 프레임 디지털 영상에 대응되는 카메라 정보에 해당하는 각 프레임별 카메라의 좌표정보(CP), 회전정보(Cr) 및 수평화각(Hfov)를 매치무버로부터 제공받는다.
여기서 예로 든 매치무버는 영상 제작업체에서 보편적으로 활용되고 있는 상용 매치무브 소프트웨어로, 이를 이용하면 본 발명에서 기술상 필요한 좌표정보(CP), 회전정보(Cr) 및 수평화각(Hfov) 등에 대한 정보를 쉽게 제공받을 수 있다. 한편, 본 발명에서 기술상 필요한 각 프레임별 카메라의 좌표정보(CP), 회전정보(Cr) 및 수평화각(Hfov) 등을 구하는 방법은 이미 공지의 기술로, 직접 프로그램하여 이들 정보를 구할 수 있다.
제어부(126)는 매치무버의 실행에 의해 구한 카메라의 좌표정보(CP) 및 회전정보(Cr)를 이용하여 후술하는 카메라 트랜스폼정보(CTM)로 변환한다. 예를 들면, 입력부(122)를 통해 사용자가 선택한 디지털 영상들이 서로 다른 두 프레임의 시간(tn1, tn2)에 대응하는 디지털 영상인 경우, 두 프레임의 시간(tn1, tn2)에 각각 대응하여 카메라 트랜스폼정보(CTM_tn1, CTM_tn2)를 얻을 수 있다.
제어부(126)는 디스플레이부(130)에 표시된 적어도 서로 다른 두 프레임의 영상에 대응시켜 서로 다른 두 프레임의 시간(tn1, tn2)에 대응하는 카메라 트랜스폼정보(CTM_tn1, CTM_tn2)가 갖는 위치에 각각 카메라를 배치시켜 디스플레이부(130)에 표시한다.
그리고 디스플레이부(130)에 표시된 각 프레임의 디지털 영상 중에서 피사체의 동일 영역을 표시하는 화소를 입력부(122)를 통해 사용자가 지정하면, 제어부(126)는 각 프레임의 디지털 영상에서 피사체의 지정 영역에 해당하는 2차원 좌표(P1_tn1, P1_tn2)를 얻는다.
제어부(126)는 산출된 카메라 트랜스폼정보(CTM_tn1, CTM_tn2)를 이용한 후 술하는 3차원 좌표로의 변환 방법을 이용하여, 피사체의 지정 영역의 화소에 해당하는 두 개의 2차원 좌표(P1_tn1, P1_tn2)에 대한 3차원 좌표(P1'_tn1, P1'_tn2)를 산출한다.
제어부(126)는 매치무버의 실행에 의해 산출된 카메라의 좌표정보(CP_tn1, CP_tn2)와 3차원 좌표로의 변환 방법을 이용하여 얻은 적어도 두개의 위치에 대한 3차원 좌표(P1'_tn1, P1'_tn2)를 각 시간(tn1, tn2)에 대응하여 서로 연결하여 벡터를 형성한다.
제어부(126)는 CP_tn1과 P1'_tn1 그리고 CP_tn2와 P1'_tn2을 각각 연결한 두 직선의 교차점을 구하여, 피사체 객체 좌표(PM1)를 얻는다. 여기서 피사체 객체 좌표(PM1)는 두 개의 위치에 대한 3차원 좌표(P1'_tn1, P1'_tn2)가 피사체의 동일 영역의 화소에 대응되도록 3차원의 공간상에 표시될 수 있음을 의미한다.
제어부(126)는 상술한 3차원의 피사체 객체 좌표(PM1)를 검출하는 방법을 반복수행하여 적어도 서로 다른 두 프레임의 피사체에서 선택된 적어도 다수 각 위치에 대한 3차원의 동일 위치에 대한 피사체 객체 좌표들{PM2....PMn}을 순차적으로 산출한다.
이어, 제어부(126)는 산출된 3차원의 피사체 객체 좌표들{PM1....PMn}을 연결하여 표시된 적어도 서로 다른 두 프레임의 피사체에서 선택된 다수의 위치들에 대한 3차원 좌표 상에 메쉬 형태의 피사체 객체 영상을 생성하고, 이 메쉬 형태의 피사체 객체 영상을 디스플레이부(130)에 표시한다. 이 메쉬 형태의 피사체 객체 영상에 의해 피사체가 이동하거나 회전하여도 동일 영역에 대한 위치를 갖게 되므 로, 이를 이용하면 이동하거나 회전하는 피사체에 다른 영상을 합성하여도 오차가 발생하지 않게 된다.
도 2는 본 발명에 따른 피사체의 3차원 좌표 검출방법의 일실시예를 나타낸 도면이고, 도 3a 내지 도 3h는 도 2의 디스플레이부에 각 단계별로 디스플레이되는 이미지의 일실시예를 나타낸 도면이다.
도 2 및 도 3a 내지 도 3h를 참조하면, 제어부(126)는 입력부(122)를 통한 사용자의 조작에 따라 저장부(124)에 저장된 디지털 영상을 디스플레이부(130)에 순차적으로 표시한다. 그리고, 제어부(126)는 디스플레이부(130)에 순차적으로 표시되는 각 프레임별 디지털 영상 중에서 입력부(122)를 통해 사용자가 선택한 적어도 서로 다른 두 프레임의 디지털 영상들을 디스플레이부(130)에 재배치하여 표시한다(S1). 즉, 도 3a에 도시된 바와 같이 사용자의 선택에 따라 서로 다른 두 프레임의 디지털 영상(FP_tn1, FP_tn2)을 디스플레이부(130)에 표시한다. 본 발명은 다수의 프레임의 디지털 영상을 이용하면 피사체의 동일 영역의 위치를 좀 더 정확하게 구할 수 있으나, 편의상 도 3a에서와 같이 서로 다른 두 프레임의 디지털 영상(FP_tn1, FP_tn2)만을 표시하여 설명한다.
그리고 입력부(122)를 통한 사용자의 조작에 따라, 제어부(126)는 매치무버(matchmover)를 실행하고, 입력부(122)를 통해 사용자가 선택한 적어도 서로 다른 두 프레임의 디지털 영상(FP_tn1, FP_tn2)이 담긴 시퀀스 데이터로부터 각 프레임별 카메라의 좌표정보(CP), 회전정보(Cr) 및 수평화각(Hfov)을 매치무버로부터 제공받는다(S2). 한편, 본 발명에서 기술상 필요한 이들 정보는 직접 프로그램하여 구할 수 있다.
그리고, 제어부(126)는 매치무버(matchmover)의 실행에 의해 구한 카메라의 좌표정보(CP) 및 회전정보(Cr)를 이용하여 후술하는 카메라 트랜스폼정보(CTM)로 변환한다(S3). 예를 들면 서로 다른 두 프레임의 디지털 영상(FP_tn1, FP_tn2)에 대응하여 카메라 트랜스폼정보(CTM_tn1, CTM_tn2)를 얻을 수 있다. 그리고, 도 3a에 도시된 바와 같이, 제어부(126)는 디스플레이부(130)에 표시된 적어도 서로 다른 두 프레임의 디지털 영상에 대응시켜 서로 다른 두 프레임의 시간(tn1, tn2)에 대응하는 카메라 트랜스폼정보(CTM_tn1, CTM_tn2)로 각각 카메라를 배치시켜 디스플레이부(130)에 표시한다. 도 3a에서는 디스플레이부(130)에 표시된 카메라의 배치 위치를 카메라의 좌표정보(CP) 및 회전정보(Cr)를 포함하는 카메라 트랜스폼정보(CTM_tn1, CTM_tn2)로 표시하였으나, 후술하는 S6 단계 및 도 4에 도시된 바와 같이, 카메라의 좌표정보(CP_tn1, CP_tn2)만을 이용되고 있는 바, 도 3a에서는 디스플레이부(130)에 표시된 카메라의 배치 위치는 실제로 카메라의 좌표정보(CP_tn1, CP_tn2)로 표시될 수 있다. 이 경우 제어부(126)는 S2 단계에서 각 프레임별 카메라의 좌표정보(CP)의 산출한 후, 디스플레이부(130)에 카메라의 좌표정보(CP_tn1, CP_tn2)에 각각 카메라를 배치시켜 표시할 수 있다.
그리고 사용자가 입력부(122)를 통해 디스플레이부(130)에 표시된 각 프레임의 디지털 영상 중에서 피사체의 동일 영역을 표시하는 화소를 지정하면, 제어부(126)는 사용자가 지정한 화소의 위치에 해당하는 2차원 좌표(P1_tn1, P1_tn2)를 산출한다(S4).
그리고 제어부(126)는 산출된 카메라 트랜스폼정보(CTM_tn1, CTM_tn2)를 이용한 후술되는 3차원 좌표로의 변환 방법을 이용하여, 피사체의 지정 영역의 화소에 해당하는 두 개의 2차원 좌표(P1_tn1, P1_tn2)에 대한 3차원 좌표(P1'_tn1, P1'_tn2)를 산출한다(S5).
그리고, 제어부(126)는 S1 단계에서 산출된 카메라의 좌표정보(CP_tn1, CP_tn2)와 S4 단계에서 산출된 적어도 서로 다른 두 프레임의 피사체의 3차원 좌표(P1'_tn1, P1'_tn2)를 각 시간(tn1, tn2)에 대응하는 좌표에 서로 연결하는 벡터를 형성한다(S6).
그리고 제어부(126)는 CP_tn1과 P1'_tn1 그리고 CP_tn2와 P1'_tn2을 각각 연결한 두 직선의 교차점을 구하여 3차원의 피사체 객체 좌표(PM1)를 산출한다(S7).
그리고, 도 3b에 도시된 바와 같이, 제어부(126)는 S4 내지 S6 단계를 반복수행하여 표시된 적어도 서로 다른 두 프레임으로부터 선택된 피사체의 위치 좌표들에 대한 3차원의 객체 좌표들{PM1....PMn}을 순차적으로 산출한다(S8).
여기서, 도 3c에 도시된 바와 같이 카메라가 각각 시간 t0에서 tn까지의 이동경로(CP_t0 ~ CP_tn) 중 어느 시점에서든 카메라의 위치와 검출된 3차원 좌표상의 피사체 객체 좌표 사이를 직선으로 연결하면 사용자가 선택한 위치와 동일한 위치를 가르키고 있다는 것을 알 수 있다. 그리고, 도 3d는 도 3c를 카메라로부터 바라본 3차원의 피사체 객체 좌표들{PM1....PMn}에 대한 피사체의 위치를 나타낸다.
이어, 제어부(126)는 S8 단계에서 구한 3차원의 피사체 객체 좌표 들{PM1....PMn}를 연결하여, 도 3e에 도시된 바와 같이, 표시된 적어도 서로 다른 두 프레임의 피사체에서 선택된 위치들에 대한 3차원 좌표 상에 메쉬 형태의 피사체 객체의 영상을 생성한다(S9). 여기서, 도 3f는 도 3e를 카메라의 시점에서 본 것이고, 도 3g는 도 3e를 메쉬의 표면에 프로젝트하였을 때를 나타낸 것이고, 도 3h는 도 3e를 카메라와는 다른 시점에서 바라본 것을 나타낸다.
이후, 제어부(126)는 생성된 피사체 객체의 영상으로부터 3차원 좌표를 선택한 후 해당 프레임들과 매트페인트(mattpaint) 프레임을 렌더링(rendering)하여 합성한 후 새로운 결과물을 생성한다(S10).
이하에서는 도 4를 참조하여 본 발명에 따른 피사체의 3차원 좌표 검출방법에 따른 제어부(126)의 동작에 대하여 좀 더 상세히 설명하면 다음과 같다. 다만, 이러한 수학식으로 인하여 본 발명이 한정되지도 않고 또한 한정되어서도 아니된다는 것은 명백하다.
먼저, S2 단계에서 매치무버(matchmover)의 실행에 의해 산출된 카메라의 좌표정보(CP), 및 회전정보(Cr)를 이용하여 카메라 트랜스폼정보(CTM)를 산출하는 방법을 구체적으로 설명한다.
예를 들어 도 3a에 도시된 프레임의 디지털 영상(FP_tn1)이 제1 프레임의 디지털 영상에 해당하는 경우, 카메라의 좌표정보를 CP_t0이라 하고, 카메라의 회전정보를 Cr_t0이라 할 때 카메라 트랜스폼정보 CTM_t0을 만드는 과정은 다음과 같다.
Cp_t0 = [x, y, z], Cr_to = [∠x, ∠y, ∠z]일 때,
Camera_position_4*4 매트릭스는
Figure 112007081530558-PAT00001
이고,
x-axis 4*4 매트릭스는
Figure 112007081530558-PAT00002
이며,
y-axis 4*4 매트릭스는
Figure 112007081530558-PAT00003
이고,
z-axis 4*4 매트릭스는
Figure 112007081530558-PAT00004
이다.
상술한 매트릭스를 이용하여 CTM_t0는
Figure 112007081530558-PAT00005
과 같이 연산한다.
이어서 S4 단계에서 구한 CTM_t0로부터, 도 3a에 도시된 서로 다른 두 프레임의 디지털 영상들 중에서 동일 영역으로 사용자가 지정한 피사체의 화소의 2차원 좌표, 즉 표시된 디지털 영상 상의 UV 좌표(P1_t0)를 3차원 좌표(P1'_t0)로 변환하는 과정은 다음과 같다.
피사체의 3차원 좌표(P1'_t0)를 얻기 위해 임의의 좌표 [Bx,By,100]를 둔다. 여기서 Bx, By 성분은 다음과 같은 연산에 의해 얻어지고, z성분은 상수 100으로 설정한다.
한편, 사용자에 의한 피사체의 지정 화소에 대해 디지털 영상의 UV 좌표인 2차원 좌표(P1_t0)를 3차원 좌표(P1'_t0)로 변환하기 위해서는 카메라의 수평화각(Hfov) 및 카메라의 수직화각(Vfov)이 필요하다. 그러나 카메라의 수평화각(Hfov)은 이미 매치무브 단계에서 산출된 값을 이용하면 되고, 카메라의 수직화각(Vfov)을 다음 식에 의해 구할 수 있다.
Figure 112007081530558-PAT00006
이다.
여기서, 이미지 어스펙트(image_Aspect)는 영상의 상하 비율로 다음 식에 의해 구할 수 있다.
Figure 112007081530558-PAT00007
이다.
위 식에서 Width는 디지털 영상의 너비를 표시하며, Height는 디지털 영상의 높이를 표시하며, PixelAspect는 입력된 영상의 화소의 상하 비율을 표시한다.
그리고 임의의 좌표 중에서 Bx 및 By는 다음 식에 의해 계산된다.
Bx = (P1_t0.x/(width/x_Value)) - (x_Value/2.0)
By = -(P1_t0.y/(Height/y_Value)) - (y_value/2.0))
여기서,
Figure 112007081530558-PAT00008
이고,
Figure 112007081530558-PAT00009
이다.
또한, pM은 다음 식에 의해 얻을 수 있다.
pM=M*(inverse CTM_t0)
여기서, (inverse CTM_t0)는 CTM_t0의 역행렬이고, M은 임의 좌표 행렬로서, 다음 식에 의해 얻어진다.
Figure 112007081530558-PAT00010
상술한 pM의 각행 4열의 값으로 피사체의 3차원 좌표(P1'_t0)를 다음 식에서 얻을 수 있다.
P1'_t0=[pM14, pM24, pM34]
상술한 방법에 의해 사용자가 지정한 피사체의 화소에 대한 2차원 좌표를 3차원 좌표로 변환할 수 있다.
마지막으로, 이렇게 2차원 좌표(P1_t0)에 대하여 얻어진 3차원 좌표(P1'_t0)와 카메라의 좌표정보(CP_t0)를 서로 연결하여 벡터를 형성하고, 상술한 과정을 반복 수행하여 서로 다른 시간의 카메라로부터 피사체를 향하는 벡터를 검출한다.
상술한 과정에서 얻어진 카메라의 좌표정보(CP_t0)와 3차원 좌표(P1'_t0)는 도 4에 도시된 CP_t0과 P1'_t0이고, 또 다른 프레임에서 얻어진 카메라의 좌표정보(CP_tn)와 3차원 좌표(P1'_tn)는 CP_tn과 P1'_tn이라 하였을 때, 사용자의 입력에 의해 얻어진 두 직선이 서로 명료하게 교차하기란 쉽지가 않다. 그러므로 도 4의 두 직선(라인 a와 라인 b)의 거리가 최소일 때의 직선상의 위치(pa, pb)를 나타내었고, 이 두 점을 사이로 한 위치를 교차하는 좌표로 한다.
여기서, 두 직선(라인a와 라인b)의 직선의 방정식은 다음과 같다.
Pa = CP_t0 + ua*( P1'_t0 - CP_t0)
Pb = CP_tn + ub*( P1'_tn - CP_tn)
여기서, u는 0과 1 사이의 수이며, 조건은 Pa = Pb일 때에 두 직선이 교차함을 알 수 있다.
그러나 두 직선이 완벽히 교차하는 지점을 찾을 수는 있으나, 사용자가 임의로 입력한 좌표가 서로 정확히 교차하기란 쉽지 않으므로, 이 두 위치(Pa, Pb) 간의 거리를 서로 비교하여 가장 최소의 거리에 놓이기 위한 임의 조건수(ua, ub)를 구하여, 이들을 사이로 한 좌표를 피사체의 동일 영역에 해당하는 화소 위치에 대한 3차원의 피사체 객체 좌표(PM1)이라 한다면 이를 구하는 방법은 다음과 같다.
p13 = [(CP_t0.x-CP_tn.x),(CP_t0.y-CP_tn.y),(CP_t0.z-CP_tn.z)]
p43 = [(P1'_tn.x-CP_tn.x),(P1'_tn.y-CP_tn.y),( P1'_tn.z - CP_tn.z)]
p21 = [(P1'_t0.x CP_t0.x),(P1'_t0.y CP_t0.y),( P1'_t0.z CP_t0.z)]
d1343 = p13.x * p43.x + p13.y * p43.y + p13.z * p43.z;
d4321 = p43.x * p21.x + p43.y * p21.y + p43.z * p21.z;
d1321 = p13.x * p21.x + p13.y * p21.y + p13.z * p21.z;
d4343 = p43.x * p43.x + p43.y * p43.y + p43.z * p43.z;
d2121 = p21.x * p21.x + p21.y * p21.y + p21.z * p21.z;
ua = (d1343*d4321 - d1321*d4343) / (d2121*d4343 - d4321*d4321)
ub = (d1343 + d4321 * (ua)) / d4343
pa = [(CP_t0.x+(ua*p21.x)),(CP_t0.y+(ua*p21.y)),(CP_t0.z+(ua*p21.z))]
pb = [(CP_tn.x+(ub*43.x)),(CP_tn.y+(ub*p43.y)),(CP_tn.z+(ub*p43.z))]
상술한 과정에 3차원의 피사체 객체 좌표(PM1)을 다음 식에 의해 얻을 수 있다.
PM1=(pa+pb)/2.0
한편, 피사체의 3차원 좌표 검출방법을 컴퓨터에서 실행시키기 위한 프로그램은 CD-ROM 등의 기록매체에 기록되어 자기디스크 등에 저장된 후, 메모리에 로드 되어 실행되는 것으로 한다.
또한, 프로그램을 기록하는 매체는 CD-ROM 이외의 다른 매체로 할 수도 있다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.
따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위 및 그와 균등한 것들에 의하여 정해져야 한다.
본 발명은 피사체의 3차원 좌표 검출방법 및 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체에 관한 것으로, 상세하게는 카메라의 시각을 바탕으로 하여 3차원 좌표를 검출함으로써 메쉬(mesh) 환경 수정, 추가 요청 사항 및 변동 사항에 빠르게 대처할 수 있도록 한 피사체의 3차원 좌표 검출방법 및 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체에 관한 것이다.
도 1은 본 발명의 일실시예에 따른 피사체의 3차원 좌표 검출 방법이 적용되는 피사체의 3차원 좌표 검출 장치의 개략적인 블록 구성을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 피사체의 3차원 좌표 검출 방법의 흐름도를 도시한 도면이다.
도 3a 내지 도 3h는 도 2의 흐름도에 따라 디스플레이부에 표시되는 영상을 도시한 도면이다.
도 4는 도 2의 S7 단계를 상세하게 설명하기 위한 도면이다.

Claims (7)

  1. 피사체의 3차원 좌표 검출방법에 있어서,
    복수의 프레임 영상에 대하여 각 프레임 영상으로부터 카메라의 좌표정보 및 카메라의 회전정보를 검출하는 단계와,
    상기 각 프레임 영상에 대하여 상기 카메라의 좌표정보 및 상기 카메라의 회전정보를 이용하여 카메라 트랜스폼정보를 산출하는 단계와,
    상기 복수의 프레임 영상 중에서 피사체의 동일 영역에 해당하는 화소들이 선택되면, 상기 화소들에 대한 2차원 좌표들을 검출하는 단계와,
    상기 각 프레임 영상의 카메라 트랜스폼정보를 이용하여 상기 각 프레임 영상 중에서 검출된 상기 2차원 좌표들을 3차원 좌표들로 변환하는 단계와,
    동일 시각에 대한 상기 3차원 좌표들과 상기 카메라의 좌표정보들을 각각 직선으로 연결하고, 상기 연결된 직선의 교차점들을 이용하여 3차원의 피사체 객체 좌표를 산출하는 단계를 포함하는 것을 특징으로 하는 피사체의 3차원 좌표 검출 방법.
  2. 제1항에 있어서,
    상기 화소들에 대한 2차원 좌표를 검출하는 단계로부터 상기 3차원의 피사체 객체 좌표를 산출하는 단계를 반복하여 상기 복수의 프레임 영상 중의 다수의 동일 영역에 대한 3차원의 피사체 객체 좌표들을 산출하는 것을 특징으로 하는 피사체의 좌표 검출 방법.
  3. 제2항에 있어서,
    상기 3차원의 피사체 객체 좌표들을 연결하여 상기 복수의 프레임 영상 중에서 피사체의 동일 영역임을 표시하는 화소들이 선택된 위치들에 대한 메쉬 형태의 3차원의 피사체 객체 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 피사체의 좌표 검출 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 복수의 프레임 영상에 대하여 각 프레임 영상으로부터 상기 카메라의 수평화각을 더 검출하고,
    상기 2차원 좌표들을 상기 3차원 좌표들로 변환하는 단계는 상기 카메라의 수평화각을 더 이용하여 변환하는 것을 특징으로 하는 피사체의 좌표 검출 방법.
  5. 제4항에 있어서,
    상기 2차원 좌표들을 3차원 좌표로 변환하는 단계는 상기 카메라의 수직화각을 산출하고, 상기 수직화각을 더 이용하여 변환하는 것을 특징으로 피사체의 좌표 검출 방법.
  6. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 연결된 직선의 교차점들의 이용은 상기 연결된 직선들 간의 거리가 최소로되는 지점을 이용하는 것을 특징으로 하는 피사체의 좌표 검출 방법.
  7. 제1항 내지 제3항 중 어느 항의 피사체의 3차원 좌표 검출 방법을 컴퓨터에서 실행시키기 위한 프로그램을 저장한 저장매체.
KR1020070115855A 2007-11-14 2007-11-14 피사체의 3차원 좌표 검출방법 및 그 방법을 컴퓨터에서실행시키기 위한 프로그램을 기록한 기록매체 KR100908084B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070115855A KR100908084B1 (ko) 2007-11-14 2007-11-14 피사체의 3차원 좌표 검출방법 및 그 방법을 컴퓨터에서실행시키기 위한 프로그램을 기록한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070115855A KR100908084B1 (ko) 2007-11-14 2007-11-14 피사체의 3차원 좌표 검출방법 및 그 방법을 컴퓨터에서실행시키기 위한 프로그램을 기록한 기록매체

Publications (2)

Publication Number Publication Date
KR20090049670A true KR20090049670A (ko) 2009-05-19
KR100908084B1 KR100908084B1 (ko) 2009-07-16

Family

ID=40858320

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070115855A KR100908084B1 (ko) 2007-11-14 2007-11-14 피사체의 3차원 좌표 검출방법 및 그 방법을 컴퓨터에서실행시키기 위한 프로그램을 기록한 기록매체

Country Status (1)

Country Link
KR (1) KR100908084B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100980298B1 (ko) * 2010-05-06 2010-09-06 엠진 (주) 모델링된 2차원 영상의 3차원 영상 변환 방법
KR101051355B1 (ko) * 2009-06-09 2011-07-22 (주)이지스 3차원 공간 데이터를 이용한 카메라 영상의 3차원 좌표 획득방법 및 이를 이용한 카메라 연동 제어방법
US9013482B2 (en) 2010-04-20 2015-04-21 Samsung Electronics Co., Ltd. Mesh generating apparatus, method and computer-readable medium, and image processing apparatus, method and computer-readable medium
KR101875704B1 (ko) * 2011-06-30 2018-07-06 삼성전자주식회사 데이터 처리장치, 의료영상시스템 및 진단영상을 생성하는 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10116359A (ja) 1996-10-09 1998-05-06 Sony Corp カメラパラメータ演算装置及び画像合成装置
JP4511147B2 (ja) * 2003-10-02 2010-07-28 株式会社岩根研究所 三次元形状生成装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101051355B1 (ko) * 2009-06-09 2011-07-22 (주)이지스 3차원 공간 데이터를 이용한 카메라 영상의 3차원 좌표 획득방법 및 이를 이용한 카메라 연동 제어방법
US9013482B2 (en) 2010-04-20 2015-04-21 Samsung Electronics Co., Ltd. Mesh generating apparatus, method and computer-readable medium, and image processing apparatus, method and computer-readable medium
KR100980298B1 (ko) * 2010-05-06 2010-09-06 엠진 (주) 모델링된 2차원 영상의 3차원 영상 변환 방법
KR101875704B1 (ko) * 2011-06-30 2018-07-06 삼성전자주식회사 데이터 처리장치, 의료영상시스템 및 진단영상을 생성하는 방법

Also Published As

Publication number Publication date
KR100908084B1 (ko) 2009-07-16

Similar Documents

Publication Publication Date Title
JP5791976B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4533087B2 (ja) 画像処理方法、画像処理装置
JP7164968B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP2000307949A (ja) 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体
JP2007000205A (ja) 画像処理装置及び画像処理方法並びに画像処理プログラム
KR102279300B1 (ko) 가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램
JP5499261B2 (ja) 画像処理装置
JP2009134509A (ja) モザイク画像生成装置及びモザイク画像生成方法
JP7444172B2 (ja) 情報処理装置、映像の生成方法及びプログラム
JP2018206025A (ja) 情報処理装置、情報処理方法
JP3245336B2 (ja) モデリング方法およびモデリングシステム
KR100908084B1 (ko) 피사체의 3차원 좌표 검출방법 및 그 방법을 컴퓨터에서실행시키기 위한 프로그램을 기록한 기록매체
JP6581359B2 (ja) 情報処理装置及びその制御方法及びプログラム及び記憶媒体、並びに、ビデオカメラ
JP5111900B2 (ja) ポイント補間によるレンダリング方法及び装置
JPH11161819A (ja) 画像処理装置、画像処理方法、及び画像処理プログラムを記録した記録媒体
JP2011039801A (ja) 画像処理装置および画像処理方法
JP2019046055A (ja) 画像処理装置、画像処理方法及びプログラム
JP5566199B2 (ja) 画像処理装置およびその制御方法、並びにプログラム
JP2020134242A (ja) 計測方法、計測装置、およびプログラム
JPH10108003A (ja) 画像合成装置および画像合成方法
JP2015114949A (ja) 画像処理装置、画像処理方法、画像処理装置用プログラム、および、記録媒体
JP2002094849A (ja) 広視野画像撮像装置
JPH10198824A (ja) 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置
JP2003087550A (ja) 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JPH04329484A (ja) 画像合成装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee