KR960035351A

KR960035351A - 3차원 표시 화상 생성 방법, 깊이 정보를 이용한 화상 처리 방법, 깊이 정보 생성 방법

Info

Publication number: KR960035351A
Application number: KR1019960008266A
Authority: KR
Inventors: 유끼노리 마쯔모또; 하지메 데라사끼; 가즈히데 스기모또; 마사즈미 가따야마; 쯔도무 아라끼와; 오사무 스즈끼
Original assignee: 다까노 야스아끼; 상요덴기 가부시끼가이샤
Priority date: 1995-03-29
Filing date: 1996-03-26
Publication date: 1996-10-24
Also published as: US6384859B1; EP1150253A2; KR100414629B1; EP1150254A2; DE69621509T2; EP1150254A3; CN1132123C; EP0735512A3; US20010045979A1; EP0735512A2; DE69621509D1; EP0735512B1; CN1153362A

Abstract

2차원 동화상으로부터 깊이 정보를 자동적으로 생성하고, 3차원 표시 화상을 생성하는 방법에 제공된다. 또한, 깊이 정보의 생성시, 처리를 적당히 중지하고, 깊이 정보의 생성에 어울리는 프레임을 선택하는 방법, 및 깊이 정보를 이용해서 각종 화상 처리를 행하는 방법이 제공된다. 각종 화상 처리의 예로, 시점 변경 영상, 화상 영역의 자연스러운 확대 · 축소, 소기의 화상 영역의 절취가 있다. 우선, 입력 영상으로부터 피사체의 화면상의 움직임 정보를 추출한다. 이때, 블록 정합 등의 기법을 사용한다. 이어서 3차원 공간에서의 피사체의 현실의 움직임을 산출한다. 입력 영상은 원래의 3차원적인 움직임의 투영이기 때문에, 복수의 대표점의 움직임으로부터 3차원 표시의 움직임이 역변환에 의해서 구해진다. 이 결과, 피사체의 좌표가 판명되기 때문에, 피사체의 깊이 정보를 획득할 수 있다. 이후, 깊이 정보로부터 시차를 계산하고, 입력 영상으로부터 양 눈용 화상을 생성한다. 또한, 깊이 정보를 기초로, 깊이가 어느 범위에 있는 피사체를 잘라내기도 하고, 확대하는 등의 처리를 행한다.

Description

3차원 표시 화상 생성 방법, 깊이 정보를 이용한 화상 처리 방법, 깊이 정보 생성 방법

본 내용은 요부공개 건이므로 전문내용을 수록하지 않았음

제1도는 배경은 변하지 않고 피사체만이 좌에서 우로 이동하는 영상을 도시하는 도면, 제2도는 재생된 오른쪽 눈 화상과 왼쪽 눈 화상 사이에 일정한 시간차를 둔 모양을 도시하는 도면, 제3도는 제2도의 시간차의 결과, 시차가 생기는 모양을 도시하는 도면, 제4도는 실시 형태 1에 의해서 3차원 표시 화상을 생성하기 위한 주된 공정을 도시하는 도면.

Claims

2차원 동화상으로부터 깊이(depth) 정보를 추출하고, 이 깊이 정보에 따라서 3차원 표시용 화상을 생성하는 것을 특징으로 하는 3차원 표시 화상 생성 방법.
제1항에 있어서, 그 방법은 상기 깊이 정보를, 2차원 동화상의 움직임을 검출하고, 이 움직임으로부터 그 동화상의 장면과 촬영 시점(視點)과의 상대적인 3차원 운동을 산출하며, 이 상대적인 3차원 운동과 화상 각 부위의 움직임을 기초로, 상기 촬영 시점으로부터 화상 각 부위까지의 상대 거리를 산출함으로써 도출하는 것을 특징으로 하는 3차원 표시 화상 생성 방법.
2차원 동화상에 포함되는 프레임을 기초로 깊이 정보를 생성하는 방법에 있어서, 프레임 간의 움직임이 큰 두장의 프레임을 상기 2차원 동화상으로부터 선택하고, 이들 두장의 프레임으로부터 깊이 정보를 생성하는 것을 특징으로 하는 깊이 정보 생성 방법.
제3항에 있어서, 상기 방법은 기준이 되는 프레임에 대표점을 설정하고, 다른 프레임에서의 상기 대표점의 대응점을 구하며, 이들 대표점과 대응점의 위치 관계를 구함으로써 깊이 정보를 생성하는 방법이며, 상기 대표점과 대응하여 위치 관계로부터 또 다른 프레임의 대응점의 위치를 예측하고, 대응점을 탐색해야 할 영역을 한정하는 것을 특징으로 하는 깊이 정보 생성 방법.
제3항에 있어서, 상기 방법은 기준으로 되는 프레임에 대표점을 설정하고, 다른 프레임에서의 상기 대표점의 대응점을 구하며, 이들 대표점과 대응점의 위치 관계를 구함으로써 깊이 정보를 생성하는 방법이며, 또 상기 대표점은 특징점과 비특징점으로 분류될 때, 상기 기준이 되는 프레임과 상기 다른 프레임 사이에서 소정수 이상의 특징점의 움직임의 총합이 소정값을 초과하는 경우, 그들 프레임 간의 움직임이 크다고 판단하여, 그들 프레임을 선택하는 것을 특징으로 하는 깊이 정보 생성 방법.
제3항에 있어서, 상기 방법은 기준이 되는 프레임에 대표점을 설정하고, 다른 프레임에서의 상기 대표점의 대응점을 구하며, 이들 대표점과 대응점의 위치 관계를 구함으로써 깊이 정보를 생성하는 방법이며, 또 상기 대표점은 특징점과 비특징점으로 분류될 때, 상기 기준이 되는 프레임과 상기 다른 프레임 사이에서 특징점 움직임의 분산이 소정값을 초과하는 경우, 그들 프레임 간의 움직임이 크다고 판단하여 그들 프레임을 선택하는 것을 특징으로 하는 깊이 정보 생성 방법.
제3항 내지 제6항 중 어느 한 항에 있어서, 프레임 간의 움직임이 큰 두장의 프레임이 상기 2차원 동화상으로부터 선택될 수 없을 때, 깊이 정보의 생성을 중지하는 것을 특징으로 하는 깊이 정보 생성 방법.
제5항 내지 제7항 중 어느 한 항에 있어서, 상기 대표점 중, 기하학적으로 특징이 있는 화상 영역과 관련 있는 것에 대해서는, 그들 대표점의 대응점이 관련있는 화상 영역에 대해서도 상기 기하학적인 특징이 유지되도록, 상기 대응점의 위치를 조정한 후, 상기 깊이 정보를 생성하는 것을 특징으로 하는 깊이 정보 생성 방법.
제8항에 있어서, 상기 기하학적으로 특징이 있는 영상 영역은, 직선을 포함하는 것을 특징으로 하는 깊이 정보 생성 방법.
기준으로 되는 프레임에 대표점을 설정하고, 다른 프레임에서의 특정점 근방의 영상 영역과, 상기 기준이 되는 프레임의 대표점 근방의 영상 영역 사이에서 영상의 유사성을 평가하며, 상기 특정점간의 상대 위치의 타당성을 평가하고, 이들 양쪽 평가 결과가 양호한 경우에 상기 특정점으로써 상기 대표점의 대응점을 결정하며, 일단 모든 대응점의 위치를 고정한 후, 한 개의 대응점만을 이동시키면서 상기 각 평가 결과가 가장 양호해지는 점을 탐색하고 탐색된 가장 양호한 점의 위치를 상기 한 개의 대응점의 새로운 위치로 하며, 이들 탐색 및 위치의 변경을 순서대로 모든 대응점에 대해서 행하고, 대표점과, 이들 일련의 처리 결과 구해진 대응점과의 위치 관계로부터 깊이 정보를 생성하는 것을 특징으로 하는 깊이 정보 생성 방법.
제10항에 있어서, 상기 탐색 및 위치의 변경을 모든 대응점에 대해서 행한 후, 통합된 각 평가 수치가 극값을 취하는 조건을 표현하는 오일러 방정식을 수치적으로 풀이함으로써 상기 대응점의 위치 정밀도를 개선하는 것을 특징으로 하는 깊이 정보 생성 방법.
제10항 또는 제11항에 있어서, 상기 영상의 유사성 평가를, 상기 기준이 되는 프레임과 상기 다른 프레임이 동일한 피사체를 촬영하고 있을 때, 계산상 그들 사이에 차이가 없어지는 바이어스된 블록 정합(biased block matching)으로 행하고, 영상의 유사성과, 상대 위치의 타당성은 같은 단위를 갖는 수치로 판단한 후, 이들 평가 결과를 더하여, 양측 평가 결과의 양호·불량을 종합적으로 판단하는 것을 특징으로 하는 깊이 정보 생성 방법.
제12항에 있어서, 상기 영상의 유사성 평가를 행할 때, 미리 이전의 바이어스된 블록 정합에서의 보정의 한도를 정하고, 이 한도 내에서 바이어스된 블록 정합을 행하는 것을 특징으로 하는 깊이 정보 생성 방법.
기준이 되는 프레임에 대표점을 설정하고, 다른 프레임에서의 상기 대표점의 대응점을 구하고, 상기 대표점 중 적어도 특징점과, 그 대응점의 위치 관계를 구함으로써 깊이 정보를 생성하는 방법에 있어서, 상기 특징점으로서, 촬영 시각이 다른 복수의 프레임에 있어서 위치가 안정적으로 변화하고 있는 점을 채용하는 것을 특징으로 하는 깊이 정보 생성 방법.
기준이 되는 프레임에 대표점을 설정하고, 다른 프레임에서의 상기 대표점의 대응점을 구하고, 상기 대표점 중 적어도 특징점과, 그 대응점의 위치 관계를 구함으로써 깊이 정보를 생성하는 방법에 있어서, 상기 특징점으로서, 동시에 촬영된 프레임 간에서의 움직임이, 그 근방 시각에 있어서 동시에 촬영된 프레임 간에 있어서도 거의 일정하거나, 또는 일정 변화하는 점을 채용하는 것을 특징으로 하는 깊이 정보 생성 방법.
기준이 되는 화상에 대표점을 설정하고, 다른 화상에서의 상기 대표점의 대응점을 구하고, 이들 대표점과 대응점의 위치 관계를 구함으로써 깊이 정보를 생성하는 방법에 있어서, 상기 대표점 중 특징점인 것의 수가 적은 경우에는 상기 깊이 정보의 생성을 중지하는 것을 특징으로 하는 깊이 정보 생성 방법.
제16항에 있어서, 상기 대표점과 대응점은 각각 2차원 동화상에 포함되는 두장의 프레임 상에 설정되는 것을 특징으로 하는 깊이 정보 생성 방법.
2차원 동화상에 포함되는 두장의 프레임을 기초로 깊이 정보를 생성하는 방법에 있어서, 그들 두장의 프레임 간의 움직임이 작은 경우에는 상기 깊이 정보의 생성을 중지하는 것을 특징으로 하는 깊이 정보 생성 방법.
2차원 화상의 깊이 정보를 생성하는 방법에 있어서, 어떤 화상에 포함되는 임의의 점의 깊이의 산출결과가 음(-)이 되었을 때, 그 점에 근방에서 깊이가(+)인 값으로서 구해지는 점의 깊이 정보를 보간함으로써, 상기 임의의 점의 깊이를 다시 산출하는 것을 특징으로 하는 깊이 정보 생성 방법.
2차원 화상에 대해서, 그 깊이 정보에 따라서 시차를 부여하고, 여러 눈 화상을 생성할 때, 상기 시차가 소정 범위에 들어가도록 그 시차를 변환하고, 변환 후의 시차에 따라서 상기 여러 눈 영상을 생성하는 것을 특징으로 하는 깊이 정보를 이용한 화상 처리 방법.
제20항에 있어서, 상기 시차의 확대를 임의의 점을 중심으로 하여 선형 압축함으로써, 그 시차가 상기 소정 범위에 들어가도록 변환하는 것을 특징으로 하는 깊이 정보를 이용한 화상 처리 방법.
제20항에 있어서, 상기 소정 범위에 없는 시차에 대해서는, 그 소정 범위의 상한값 또는 하한값 중 가까운 쪽의 값으로 일률적으로 변환하는 것을 특징으로 하는 깊이 정보를 이용한 화상 처리 방법.
제20항에 있어서, 변환 후의 값이 상기 소정 범위의 상한값 또는 하한값에 원활히 들어가도록 비선형 변환을 이용하고, 상기 시차가 소정 범위에 들어가도록 변환하는 것을 특징으로 하는 깊이 정보를 이용한 화상 처리 방법.
2차원 화상에 대해서, 그 깊이 정보에 따라서 시차를 부여하고, 여러 눈 화상을 생성할 때, 상기 깊이 정보에 기초한 시차를 가변으로 한 것을 특징으로 하는 깊이 정보를 이용한 화상 처리 방법.
2차원 화상에 대해, 상기 2차원 화상에 대응된 깊이 정보에 따라서 시차를 부여하고, 여러 눈 영상을 생성하고, 이것을 여러 눈 화상 표시 수단으로 표시할 때, 상기 시차를 발생시키기 위하여, 상기 2차원 화상에 행해야 할 처리를 상기 여러 눈 화상 표시 수단을 고유의 표시 조건에 따라서 결정하는 것을 특징으로 하는 깊이 정보를 이용한 화상 처리 방법.
제25항에 있어서, 상기 표시 조건은 상기 여러 눈 화상 표시 수단의 표시 화면 사이즈와, 표시 화면으로부터 그 화면을 보는 사람까지의 상정 거리를 기초로 설정되고, 이 조건으로부터 소기의 시차가 발생하도록 화상의 부여해야 할 처리를 개별적으로 결정하는 것을 특징으로 하는 화상 처리 방법.
2차원 화상의 화상 각 부위마다 그 깊이 정보에 따라서 시차를 부여하고, 여러 눈 화상을 생성할 때, 부여된 시차에 따라서 화상 틀에 생기는 요철을 수정하는 것을 특징으로 하는 깊이 정보를 이용한 화상 처리 방법.
2차원 화상의 화상 각 부위마다 그 깊이 정보에 따라서 시차를 부여하고, 여러 눈 화상을 생성할 때, 화상 주변 부분을 절취함으로써, 소기의 화상 틀 형상을 실현하는 것을 특징으로 하는 깊이 정보를 이용한 화상 처리 방법.
2차원 화상에 대해서, 그 깊이 정보에 따라서 화상 처리를 행하는 방법에 있어서, 상기 깊이 정보를 기준으로 하고, 상기 화상 처리를 시행해야 할 화상 영역을 결정하는 것을 특징으로 하는 깊이 정보를 이용한 화상 처리 방법.
제29항에 있어서, 상기 화상 처리는, 상기 화상 영역의 사이즈(size) 변경 처리인 것을 특징으로 하는 깊이 정보를 이용한 화상 처리 방법.
제30항에 있어서, 상기 사이즈 변경 처리는, 깊이가 작은 화상 영역의 사이즈를 깊이가 큰 화상 영역의 사이즈에 대해서 상대적으로 확대하는 처리인 것을 특징으로 하는 깊이 정보를 이용한 화상 처리 방법.
제29항에 있어서, 상기 화상 처리는, 소기의 화상 영역의 절취 처리인 것을 특징으로 하는 깊이 정보를 이용한 화상 처리 방법.
제32항에 있어서, 상기 절취는, 소정 범위의 깊이를 가지는 화상 영역을 대상으로 행해지는 것을 특징으로 하는 깊이 정보를 이용한 화상 처리 방법.
제32항에 있어서, 상기 절취 후, 절취된 화상 영역을 다른 화상과 합성하는 것을 특징으로 하는 깊이 정보를 이용한 화상 처리 방법.
2차원 화상에 대해서, 그 깊이 정보에 따라서 화상 처리를 행하는 방법에 있어서, 상기 2차원 화상의 촬영 시점을 가상적인 이동 경로를 따라서 가상적으로 이동했을 때, 그 이동 경로 상의 복수 장소를 시점으로 하는 화상을 상기 깊이 정보를 기초로 생성하고, 생성된 화상을 느린 동작(slow motion) 화상으로서 이용하는 것을 특징으로 하는 깊이 정보를 이용한 화상 처리 방법.

※ 참고사항 : 최초출원 내용에 의하여 공개하는 것임.