KR100647803B1 - 대응점 정보 압축방법 및 장치 - Google Patents

Abstract

본 발명은 대응점 정보 압축방법 및 장치에 관한 것으로, 이미지간의 대응점 정보 파일을 압축하여 화질을 유지할 수 있다. 이를 위해 압축장치(12)는 이미지간의 대응점 정보를 세밀하게 표시하는 원시 맵파일(MFA)을 취득하며, 대응정보를 가지고 있는 화소를 색출하여 간소화 맵파일(MFB)를 생성한다. 그때 색출로 인해 생기는 오차가 허용치 내에 들어가도록 배려한다.

Description

대응점 정보 압축방법 및 장치{Compressing method for information of corresponding point and apparatus thereof}

도 1은 본 발명에 따른 대응점 정보 생성장치의 구성을 도시하는 도면.

도 2 원시 맵파일(MFA)의 구성을 도시하는 도면.

도 3은 보간에 의한 대응정보의 도출 순서를 도시하는 도면.

도 4는 메쉬분할 순서를 도시하는 도면.

도 5는 메쉬분할 순서를 도시하는 도면.

도 6은 메쉬분할 순서를 도시하는 도면.

도 7은 메쉬분할 순서를 도시하는 도면.

도 8은 메쉬분할 순서를 도시하는 도면.

도 9는 메쉬분할 순서를 도시하는 도면.

도 10은 메쉬분할 순서를 표시하는 도면.

도 11은 최종적으로 얻어진 간소화 맵파일(MFB)의 구성을 도시하는 도면.

도 12은 고립정점을 해소하는 순서를 도시하는 도면.

도 13은 고립정점을 해소하는 순서를 도시하는 도면이다.

* 도면의 주요부분에 대한 부호의 설명 *

12 : 압축장치 14 : 입력부

16 : 제어부 22 : 매칭 프로세서

본 발명은 대응점 정보 압축기술에 관한 것으로, 보다 상세하게는 특히 이미지간의 대응점 정보를 압축하는 방법과 장치에 관한 것이다.

일반적으로 동화상 데이터를 압축할 때 어느정도 시간적으로 떨어진 화상 프레임 사이의 대응점을 검출하여, 이 대응점 정보를 기초로 화상 프레임 사이를 보간(補間)하여 생성하는 것에 의해 화상 프레임을 색출하는 기술이 알려져 있다.

일본특허 제2927350호 공보에는 그러한 기술이 나타나 있다.

이때 색출되지 않고 그대로 이용되는 화상 프레임을 이하 「키프레임」이라고 부르고 키 프레임 사이의 보간에서 생성되는 화상 프레임을 이하「중간프레임」이라고 한다.

일본특허 제2927350호 공보에서는 키프레임 사이에서 화소 단위의 대응점을 검출하고 있어 대응점 정보의 양이 비교적 커진다. 이것을 단순하게 색출해내는 것도 고려되나, 그 경우, 당연히 중간프레임의 화질과 트레이드오프(trade- off)가 된다.

본 발명은 이러한 실정을 감안하여 이루어진 것이며, 대응점 정보의 양을 감소 시키면서 중간 프레임의 화질을 유지할 수 있는 기술의 제공을 목적으로 한다.

본 발명의 일실시예는, 대응점 정보 압축방법과 관련해서, 첫번째의 이미지 화소에 대해서, 두번째의 이미지에 있어서의 대응화소를 기술하는 원시 맵파일을 읽어들이는 단계와, 첫번째 이미지를 메쉬 분할하여 각 메쉬의 정점에 해당하는 이미지에 대해서만 대응화소를 남김으로써 원시 맵파일을 압축하고 대응화소를 술하는 간소화 맵파일을 생성하는 단계를 포함하며, 상기 생성하는 단계는 상기 메쉬를 불규칙하게 분할하게 된다.

상기의 생성하는 단계는 간소화 맵파일과 원시 맵파일의 차이에 기인하는 오차가 감소하도록 상기 메쉬를 세분화해도 좋다. 또한 오차가 큰 영역에 대해 메쉬를 재분할해도 좋다.

상기 생성하는 단계는 첫번째 이미지를 두개의 삼각형으로 분할하여, 분할에 의해 얻어진 삼각형 중 소정의 삼각형을 재분할하는 처리를 되풀이하여 상기 메쉬를 생성해도 좋다.
삼각형을 분할하였을 때, 그 분할에 의해 새롭게 생겨난 삼각형의 정점이 다른 삼각형의 변상에 놓여졌을 때, 해당하는 다른 삼각형을 분할하여, 어떤 삼각형에 대해서도 변상에 다른 삼각형의 정점이 존재하지 않는 상태를 유지해도 좋다.

삭제

본 발명의 다른 실시예는, 대응점 정보 압축방법과 관련해서, 첫번째 이미지 화소에 대해서, 그 두번째 이미지에 있어서의 대응화소를 기술한 원시 맵파일을 읽어 들이는 단계와, 첫번째 이미지를 메쉬 분할하여 각 메쉬의 정점에 해당하는 화소에 대해서만 대응화소를 남기는 것에 의해 원시 맵파일을 압축하고 대응화소을 비교적 적게 기술하는 간소화 맵파일을 생성하는 단계를 포함하며, 상기 생성하는 단계는 상기 메쉬를 소정의 조건이 충족될 때까지 세분화하여 그 결과 얻어진 메쉬에 대해 상기 간소화 맵파일을 생성하게 된다.

소정의 조건으로서, 간소화 맵파일과 원시 맵파일의 차이에 기인한 오차가 소정의 수치 이내에 들어오는 것과, 메쉬에 의해 분할되는 영역의 수가 소정의 수치 이내에 들어오는 것과, 간소화 맵파일의 데이터 사이즈가 소정의 수치 이내에 들어오는 것과, 세분화를 위한 분할 횟수가 소정의 수치 이내에 들어오는 것 등을 설정해도 좋다.

본 발명의 또 다른 실시예는, 대응점 정보 압축방법과 관련해서, 첫번째 이미지의 화소에 대해서, 그 두번째 이미지에 있어서의 대응화소를 비교적 세밀하게 기술하는 원시 맵파일을 읽어들이는 입력부와, 첫번째 이미지를 메쉬 분할하여 각 메쉬의 정점에 해당하는 화소에 대해서만 대응화소을 남기는 것에 의해 원시 맵파일을 압축하고 대응화소를 기술하는 간소화 맵파일을 생성하는 제어부를 포함하며, 상기 제어부는 상기 메쉬를 불규칙하게 분할한다.

본 발명의 또 다른 실시예는, 대응점 정보 압축방법과 관련해서, 첫번째 이미지의 화소에 대해서, 그 두번째 이미지에 있어서의 대응화소을 비교적 세밀하게 기술하는 원시 맵파일을 읽어 들이는 입력부와, 첫번째 이미지를 메쉬 분할하여, 각 메쉬의 정점에 해당하는 화소에 대해서만 대응화소를 남기는 것에 의해 원시 맵파일을 압축하고 대응 화소를 기술하는 간소화 맵파일을 생성하는 제어부를 포함하며, 상기 제어부는 상기 메쉬를 소정의 조건이 충족될 때까지 세분화하여 그 결과 얻어진 메쉬에 대해 상기 간소화 맵파일을 생성한다.

도 1은 실시 형태에 관련된 대응점 정보 생성장치(10)의 구성을 도시한다. 이 장치(10)는 키프레임 KF1,2를 격납하고 있는 유지부(18)와, 키프레임 KF1,2 사이에서 이미지 매칭을 취하여 대응점 정보를 기술한 원시 맵파일(MFA)를 생성한 매칭 프로세서(22)와, 원시 맵파일(MFA)을 압축하는 압축장치(12)를 포함한다.

압축장치(12)는 원시 맵파일(MFA)을 입력하는 입력부(14)와, 원시 맵파일 (MFA)에 압축 처리를 가하는 제어부(16)를 포함한다.

매칭 프로세서(22)에 의한 이미지간 매칭은, 예를 들면 본 출원인에 관계되는 일본특허 제2927350호의 특이점을 이용한 화소 단위의 매칭에 의한 것이다. 다만, 이외에 옵티컬 플로우(Optical Flow) 이외의 방법을 이용해도 좋다.

원시 맵파일(MFA)은 화소 간의 대응을 기술한다. 여기에서는, 제1 키프레임(KF1)의 각 화소에 대해서 그 화소가 제2 키프레임(KF2)의 어느 화소에 대응하는지를 움직이는 벡터로 기술하고 있다.

도 2는 원시 맵파일(MFA)의 구성을 나타낸다. 각 화소 p(i,j)가 제2 키프레임(KF2)에 대응하는 화소에 어떻게 이동하는지가 벡터 vij로 나타내어진다. 예를 들면, 제1 키프레임(KF1)의 좌표(10,15)의 화소가 제2 키프레임(KF2)에서 좌표 (20,17)의 화소에 대응하는 경우 이 화소의 벡터는(10,-2)로 기술된다.

원시 맵파일(MFA)은 모든 점, 즉 모든 화소에 대해 대응정보를 가지고 있다.그러나 제어부(16)는 대응정보를 가지게 하는 화소를 일부로 한정하므로써 간소화 맵파일(MFB)를 생성한다. 대응정보를 가지는 화소를「독립화소」라고 한다. 독립화소 이외의 화소(「종속화소」라고 함)의 대응정보는 독립화소의 대응정보로부터 필요한 경우에 보간으로 구해질 수 있다. 이 보간으로 종속화소의 대응정보를 구할 경우, 당연히 해당 종속화소가 최초로 원시 맵파일(MFA)에서 가지고 있던 대응정보와의 오차가 작은 것이 바람직하다. 그 결과, 제어부(16)는 그 오차를 평가하여 오차가 작아지도록 독립화소를 정하게 된다.

도 3은 원시 맵파일(MFA) 전체를 모식적으로 표시한다. 오차 평가를 위해 보간의 개요를 표시한다. 지금 원시 맵파일(MFA)을 이미지로 선정하여 그것을 중앙 사선으로 두개의 삼각형으로 분할한다. 상기 도면에 있어서 상측 삼각형의 정점 A,B,C는 각각 해당 위치에 있는 화소에 대응하여 각각의 대응정보로써 벡터 Va,Vb,Vc을 갖는다. 삼각형 ABC에 대해서는 독립화소가 A,B,C 3점밖에 없다. 임의의 점 P의 벡터 Vp는 아래의 식으로 구해진다.

Vp = Sa·Va + Sb·Vb + Sc·Vc

단, Sa,Sb,Sc는 각각 삼각형 PBC,PAC,PAB의 면적이며 Sa+Sb+Sc=1로 공식화된 다. 이렇게 얻어진 Vp와 점 P가 원시 맵파일(MFA)에 있어서 가지고 있던 벡터 Vp_original과의 차이의 절대치를 점 P에 있어서의 오차「Ep」라고 표기한다.

삼각형 ABC 전체로서 오차를 평가한다. 평가는 삼각형 ABC내의 모든 점 P에 대해서 Ep를 계산하여 그 최대치로서 삼각형 ABC의「오차 평가치」로 하고, 이하, 오차 평가치를 삼각형의「에너지」라고 부른다. 단, 에너지는 모든 점 P의 오차 절대치의 평균과 동 2제곱 평균 등 몇개의 대안이 있다.

간소화 맵파일(MFB)의 생성은 톱다운으로 이루어진다. 즉, 최초는 최소한의 독립화소를 가정하여 그들의 독립화소로 만들어지는 메쉬(Mesh)에 포함된 삼각형에 대해서 그 에너지가 큰 것부터 순서대로 재분활하여 메쉬를 세분화해 간다. 메쉬의 정점이 독립화소로서 추가 되어진다. 세분화를 정지하는 조건은,

1. 간소화 맵파일(MFB)과 원시 맵파일(MFA)의 차이에 기인한 오차, 즉, 그 시점에서 메쉬에 포함되는 삼각형의 최대 에너지가 소정의 수치 내에 있을 것

2. 메쉬에 포함되는 삼각형의 수가 소정의 수치 내에 있을 것

3. 간소화 맵파일(MFB)의 데이터 사이즈가 소정의 수치 내에 있을 것

4. 세분화를 위한 분할 횟수가 소정의 수치 내에 있을 것 등이다.

도 4는 첫번째 분할(S10)을 표시한다. 마스터 라인(ml)에 의하여 원시 맵파일(MFA)을 두개의 삼각형으로 나눈다. 편의상, 상하의 삼각형을 각각 L,R이라고 표시한다. 도 5는 2번째 이후의 분할로 나타나는 삼각형에 L,R을 부여하는 룰을 표시하며, 직각 삼각형의 사변을 아래로 하였을 때 오른쪽의 작은 삼각형을 R, 왼쪽을 L이라고 한다.

도 6은 2번째 분할(S12)을 표시한다. 분할되는 삼각형은 그 시점에서 최대 에너지를 갖게 된다. 여기에서는 삼각형 R이 최대 에너지를 가진 것으로 하여 그것이 분할된다. 그 결과, 삼각형 R로부터 절반 사이즈의 삼각형이 생기고 이들을 삼각형 RR,RL이라고 표기한다.

이 시점에서, 점 P1과 같이 삼각형 L의 사변상에 메쉬의 정점이 나타난다. 삼각형의 변 위에 다른 삼각형의 정점(이러한 정점을 고립정점이라고 한다)이 나타나면, 다음의 보간에서 부도합(不都合)이 생길 수 있다. 즉, 삼각형 L에 대해서는 그 3개의 정점에서 보간을 하지만, 삼각형 RR,RL에 대해서는 점 P1을 포함한 정점으로부터 각각 보간하기 위해, 점 P1에 있어서 불연속한 보간결과가 생긴다. 여기에서 제어부(16)는 어떤 삼각형의 정점이 다른 삼각형의 변상에 나타나면, 그 고립정점이 존재하지 않게 될 때까지 상기의 다른 삼각형을 분할한다. 도 6의 경우, 도 7과 같이 점 P2에 의해서 삼각형 L을 삼각형 LL과 LR으로 분할한다(S14).

도 8은 더 나아가 다음 분할(S16)을 도시한다. 여기에서는 점 P3가 독립화소에 추가되어 삼각형 RL이 두개의 삼각형 RLL과 RLR로 분할되고 있다. 도 9는 동일한 처리(S18)로, 삼각형 RLR이 삼각형 RLRR과 RLRL로 분할된다. 여기에서, 점 P4가 고립정점이기 때문에, 도 10과 같이 다음의 처리(S20)에 의해 점 P5를 설치하여 삼각형 LRR과 LRL을 나눠 후자를 또 삼각형 LRLL과 LRLR로 나눈다.

도 11은 삼각형의 분할을 트리로 표시한 것이다. 선두의 ○는 루트에서 S10에서 L과 R이 생성되고 S12에서 R의 아래에 L과 R이 생성되며, 이하는 같은 형태이다. 고립 정점의 판정은 처리상은 단순하며 트리의 첫번째층과 두번째층에서 형성 되는 단계(이것을 제1스테이지의 의미로 ST1으로 표기한다)로서, 노드가 「L→L」또는「R→R」로 계속되면 이 경로의 L과 R을 반전한 경로를 트리에 추가한다. 이것은 마스터 라인(ml)을 사이에 두고 L과 R이 대상(對象)에 나타나는 사실을 이용하고 있다. 도 11의 경우, ST1에 있어서 R→R로 계속되므로 L→L을 추가하고 있다. 이 경로가 S14에 있어서 고립정점 해소에 해당되며 경로 추가가 도 12에 도시된다.

마찬가지로, 3번째층과 4번째층에서 형성되는 단계 ST2에서 도 11의 가장 오른쪽의 경로에 R→R이 있기 때문에, 이 경로 전체에 있는「R→L→R→R」을 반전시킨「L→R→L→L」을 도 13과 같이 추가하고 있다. 이것이 S20에 있어서 고립정점의 해소에 해당한다. 또한 고립 정점의 해소는 삼각형을 분할할 때마다 실행한다.

고립정점 해소 처리를 일반화하면, 오히려 트리의 리프, 즉, 말단부터 확인하는 것이 간단하며 아래와 같이 된다. 단지, 층의 기우는 도 11에 따른다.

「트리의 말단부터 시작하여 짝수층부터 하나위의 홀수층에 R→R 또는 L→L이 계속될 때, 그것들 두개의 노드와 그 경로에 포함되어 그것들 두개의 노드보다도 루트에 가까운 측에 있는 모든 노드의 L과 R을 반전시킨 경로를 추가한다」

또한, 이렇게 최종적으로 얻어진 트리는 기존에 알고 있는 수법으로서 예를 들면, 위와 왼쪽으로부터 순서대로「아래 층이 있는 노드는 제로」「말단인 노드는 1」로 부호화할 수 있다. 이 부호화 데이터와 트리로 부호화된 순서로 노드의 대응 정보를 나열한 데이터를 합치면 이것이 간소화 맵파일(MFB)이 된다.

이와 같이 이루어지는 본 발명의 대응점 정보 압축방법 및 장치에 의하면, 압축장치가 이미지간의 대응점 정보를 세밀하게 표시하는 원시 맵파일을 취득하고 대응정보를 가지고 있는 화소를 색출하여 간소화 맵파일를 생성하며, 이때 색출로 인해 생기는 오차가 허용치 내에 들어가도록 함으로서 이미지간의 대응점 정보 파일을 압축하여 화질을 유지할 수 있는 것과 같은 효과가 제공될 수 있다.

Claims (14)

1. 첫번째 이미지 화소에 대해서 두번째 이미지와의 대응화소를 세밀하게 기술하는 원시 맵파일을 읽어들이는 a)단계와;

   첫번째 이미지를 메쉬 분할하여 각 메쉬의 정점에 해당하는 화소에 대해서만 대응화소를 남김으로써 원시 맵파일을 압축하고 대응화소를 기술하는 간소화 맵파일을 생성하는 b)단계를 포함하며, 상기 b)단계는 분할 후의 메쉬의 모양이나 크기가 동일하지 않게 상기 메쉬를 불규칙(非正則)하게 분할하는 것을 특징으로 하는 대응점 정보 압축방법.
2. 제 1항에 있어서,

   상기 b)단계는 간소화 맵파일과 원시 맵파일의 차이에 기인한 오차가 감소하도록 상기 메쉬를 세분화하는 대응점 정보 압축방법.
3. 제 2항에 있어서,

   상기 오차가 큰 영역에 대해 메쉬를 재분할하는 대응점 정보 압축방법.
4. 제 1항에 있어서,

   상기 b)단계는 첫번째 이미지를 두개의 삼각형으로 분할하여, 분할에 의해 얻어진 삼각형 중 하나를 소정의 삼각형으로 재분할하는 처리를 되풀이 하는 것에 의해 상기 메쉬를 생성하는 대응점 정보 압축방법.
5. 삭제
6. 삭제
7. 제 4항에 있어서,

   삼각형을 분할하였을 때, 그 분할에 의해 새롭게 생겨난 삼각형의 정점이 다른 삼각형의 변상에 놓여졌을 경우 해당하는 다른 삼각형을 분할하여 어떤 삼각형에 대해서도 변상에 다른 삼각형의 정점이 존재하지 않는 상태를 유지하는 대응점 정보 압축방법.
8. 첫번째 이미지 화소에 대해서 그 두번째 이미지와의 대응화소를 세밀하게 기술하는 원시 맵파일을 읽어 들이는 a)단계와,

   첫번째 이미지를 메쉬 분할하여 각 메쉬의 정점에 해당하는 화소에 대해서만 대응화소를 남김으로서 원시 맵파일을 압축하고 대응화소를 기술하는 간소화 맵파일을 생성하는 b)단계를 포함하며, 상기 b)단계는 상기 메쉬를 소정의 조건이 충족될 때까지 세분화하고 그 결과 얻어진 메쉬에 대해서 상기 간소화 맵파일을 생성하는 것을 특징으로 하는 대응점 정보 압축방법.
9. 제 8항에 있어서,

   상기 소정의 조건으로서, 간소화 맵파일과 원시 맵파일의 차이에 기인한 오차가 소정의 수치 이내로 되도록 설정한 대응점 정보 압축방법.
10. 제 8항에 있어서,

    상기 소정의 조건으로서, 메쉬에 의해 분할되는 영역의 수가 소정의 수치 이내로 되도록 설정한 대응점 정보 압축방법.
11. 제 8항에 있어서,

    상기 소정의 조건으로서, 간소화 맵파일의 데이터 사이즈가 소정의 수치 이내로 되도록 설정한 대응점 정보 압축방법.
12. 제 8항에 있어서,

    상기 소정의 조건으로서, 상기 세분화를 위한 분할 횟수가 소정의 수치 이내로 되도록 설정한 대응점 정보 압축방법.
13. 첫번째 이미지의 화소에 대해서, 그 두번째 이미지와의 대응화소를 세밀하게 기술하는 원시 맵파일을 읽어 들이는 입력부와;

    첫번째 이미지를 메쉬 분할하여 각 메쉬의 정점에 해당하는 화소에 대해서만 대응화소을 남기는 것에 의해 원시 맵파일을 압축하고 대응화소를 기술하는 간소화 맵파일을 생성하는 제어부를 포함하며, 상기 제어부는 상기 메쉬를 불규칙(非正則)하게 분할하는 것을 특징으로 하는 대응점 정보 압축장치.
14. 첫번째 이미지의 화소에 대해서, 그 두번째 이미지와의 대응화소를 세밀하게 기술하는 원시 맵파일을 읽어 들이는 입력부와;

    첫번째 이미지를 메쉬 분할하여 각 메쉬의 정점에 해당하는 화소에 대해서만 대응화소을 남기는 것에 의해 원시 맵파일을 압축하고 대응 화소를 기술하는 간소화 맵파일을 생성하는 제어부를 포함하며, 상기 제어부는 상기 메쉬를 소정의 조건이 충족될 때까지 세분화하고, 그 결과 얻어진 메쉬에 대해서 상기 간소화 맵파일을 생성하는 것을 특징으로 하는 대응점 정보 압축장치.

Images