이하, 본 발명의 다양한 실시예를 첨부된 도면을 참조하여 더욱 상세하게 설명한다.
[실시예1]
본 발명의 제1실시예는 도 3에 나타낸 바와 같이 서로 동기화된 2대의 카메라(10,10')와 라인 레이저(line laser)(20), 및 메인 프로세서(30)를 포함하는 비강압적 3차원 얼굴 데이터 획득 시스템 및 방법에 관한 것이다.
상기 2대의 카메라(10,10')는 서로 동기화되어 사용자, 즉 얼굴 데이터 획득 대상자에 대한 가시광선(예컨대, 380∼780nm 파장의 빛)과 근적외선(예컨대, 780∼2000nm 파장의 빛) 대역의 2D 좌우 얼굴 영상을 획득하며, 주변광의 영향을 최소화하면서 최적의 근적외선 영상을 촬영하기 위해 PM(Permeate)필터와 광학 저역통과 필터(OLPF; Optical Low Pass Filter)를 장착하고 있는 것이 바람직하다. 상기 2대의 카메라(10,10')와 사용자간의 거리는 1∼2m가 적당하다.
상기 라인 레이저(20)는 사용자의 눈에 거부감이 없는 근적외선(예컨대, 850nm 혹은 950nm 등)을 이용한 직선 조명 패턴을 사용자의 얼굴 정면 방향을 기준 으로 특정 회전 각도 범위(예컨대, -45°∼+45°의 회전 각도 범위)에서 좌에서 우로 혹은 우에서 좌로 투사한다. 상기 라인 레이저(20)는 상기 2대의 카메라(10,10')의 중간에 위치하여 사용자의 얼굴 정면 방향을 향하는 것이 바람직하다.
상기 메인 프로세서(30)는 상기 2대의 카메라(10,10')의 촬영 작동과 상기 라인 레이저(20)의 직선 조명 패턴 투사 작동을 제어한다.
상기 메인 프로세서(30)는 상기 2대의 카메라(10,10')를 통해 직선 조명 패턴이 투사되는 사용자의 2D 좌우 얼굴 영상을 획득하면, 사용자의 2D 좌우 얼굴 영상의 등극선과 직선 조명 패턴이 교차하는 교점을 대응점으로 찾아내고 이 대응점을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량(triangulation) 기법으로 사용자의 3차원 얼굴 데이터를 획득한다. 상기 삼각 측량 기법은 2개의 대응점으로 3차원 공간 상의 좌표를 복원하는 방법으로 알려져 있다.
상기 메인 프로세서(30)는 상기 대응점을 찾기 전에, 상기 2대의 카메라(10,10')를 통해 획득한 사용자의 2D 좌우 얼굴 영상에서 추출한 얼굴 영역에서 직선 조명 패턴을 검출한 다음 검출된 직선을 세선화한 후, 상기 얼굴 영역에서 등극선과 직선 조명 패턴이 교차하는 교점을 대응점으로 찾아낸다.
상기 메인 프로세서(30)는 획득한 3차원 얼굴 데이터에 대하여 3차원 얼굴 데이터의 표면 질감을 표현하는 화상, 즉 텍스쳐(texture)을 첨부하는 텍스쳐 매핑(texture mapping)을 수행하여 사용자의 얼굴 영상을 복원한다.
상기와 같이 구성되는 본 발명의 제1실시예에 따른 비강압적 3차원 얼굴 데 이터 획득 시스템은 도 4에 나타낸 방법에 의해 다음과 같이 작동한다.
도 4를 참조하면, 가장 먼저, 상기 라인 레이저(20)가 메인 프로세서(30)의 제어에 의해 사용자의 눈에 거부감이 없는 근적외선을 이용한 직선 조명 패턴을 사용자의 얼굴 정면 방향을 기준으로, 예컨대 -45°∼+45°의 회전 각도 범위에서 좌에서 우로 혹은 우에서 좌로 투사한다(S100).
상기와 같이 근적외선 직선 조명 패턴이 투사되는 동안 상기 2대의 카메라(10,10')는 사용자에 대한 가시광선과 근적외선 대역의 2D 좌우 얼굴 영상을 획득한다(S110).
참고로, 도 5는 사용자 얼굴에 라인 레이저(20)의 직선 조명 패턴을 투사하면서 2대의 카메라(10,10')로 획득한 좌우 영상을 예시하고 있다.
이어서, 상기 메인 프로세서(30)는 상기 2대의 카메라(10,10')로 획득한 사용자의 2D 좌우 얼굴 영상에서 얼굴 영역을 검출한다(S120). 이 과정에서는 비올라-존스 객체 검출기(Viola-Jones Object Detector) 또는 스킨 컬러 검출기(Skin Color Detector) 등과 같은 얼굴 영역 검출 알고리즘을 이용하여 사용자의 2D 좌우 얼굴 영상에서 배경, 머리카락 부분 등과 같이 얼굴 데이터 획득에 불필요한 부분을 제거하고 얼굴 영역만을 검출한다.
참고로, 도 6은 2대의 카메라(10,10')로 획득한 사용자 얼굴 영상에서 검출한 얼굴 영역을 예시하고 있다.
이어서, 상기 메인 프로세서(30)는 검출한 얼굴 영역에서 근적외선 직선 조명 패턴을 검출한 다음(S130), 얼굴 영역에서 등극선과 직선 조명 패턴이 교차하는 교점이 1:1로 정합되도록 검출된 직선을 세선화한다(S140).
예컨대, 상기 라인 레이저(20)로 사용자의 얼굴에 850nm 대역의 근적외선 직선 조명 패턴을 투사하면서 상기 2대의 카메라(10,10')로 촬영하여 획득한 사용자의 2D 얼굴 영상에서 근적외선으로 된 직선은 도 7과 도 8에 나타낸 바와 같이 백색의 직선 형태로 보여진다. 이 직선을 정확하게 검출할 수록 3차원 얼굴 데이터 획득의 정확도가 향상된다. 또한, 등극선 기하를 이용하여 사용자의 2D 좌우 얼굴 영상의 대응점을 찾기 위해서는 검출된 직선의 세선화가 필요하다. 만약, 이 세선화 과정이 없다면 대응점이 1:1이 아닌 1:n, 즉 다수의 대응점이 하나의 등극선과 교차하는 모호성이 발생하게 된다.
참고로, 도 7은 사용자 얼굴에 투사한 라인 레이저(20)의 직선 조명 패턴을 검출한 실시예로서, 도 7의 (a)는 상기 2대의 카메라(10,10') 중 어느 하나로 1회 촬영하여 획득한 사용자의 2D 얼굴 원본 영상이고, 도 7의 (b)는 도 7의 (a) 영상에서 검출한 근적외선 직선이고, 도 7의 (c)는 상기 2대의 카메라(10,10')로 여러번 촬영하여 획득한 사용자의 2D 얼굴 영상의 얼굴 영역 전체에서 검출한 직선을 나타낸다. 또한, 도 8은 도 7의 검출 직선을 세선화한 결과를 나타낸 실시예로서, 도 8의 (b)는 도 8의 (a)에 나타낸 검출 직선을 세선화한 결과를 나타내고, 도 8의 (c)는 도 7의 (c)에 나타낸 바와 같이 상기 2대의 카메라(10,10')로 여러번 촬영하여 획득한 사용자의 2D 얼굴 영상의 얼굴 영역 전체에서 검출한 직선을 세선화한 결과를 나타낸다.
상기와 같이 세선화 작업이 완료되고 나면, 다음으로 상기 메인 프로세 서(30)는 검출된 직선 전체에 대한 세선화가 완료된 얼굴 영역에서 등극선과 직선 조명 패턴이 교차하는 교점을 대응점으로 찾아낸 후(S150), 이 대응점들을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량(triangulation) 기법으로 사용자의 3차원 얼굴 데이터를 획득한다(S160).
참고로, 도 9는 사용자 얼굴 좌우 영상의 등극선과 라인 레이저의 직선 조명 패턴이 교차하는 대응점을 나타낸 실시예이로서, 도 9의 (a)에 나타낸 좌측 영상의 점들에 대한 대응점은 도 9의 (b)에 나타낸 우측 영상의 등극선 상에 존재하는 것을 알 수 있다.
또한, 도 10은 찾아낸 대응점을 이용하여 삼각 측량(triangulation) 기법으로 획득한 사용자의 3차원 얼굴 데이터를 나타낸 실시예이다.
도 10의 (a)에 나타낸 바와 같이, 획득한 3차원 얼굴 데이터는 얼굴에 맺힌 직선과 직선 사이를 제외한 부분은 정보가 없기 때문에 대응점들이 이루는 직선과 직선 사이의 간격이 드문드문한 맵(sparse map) 형태로 표시된다. 따라서, 이러한 직선과 직선 사이의 빈 공간을 채워주어 얼굴의 모든 부분에 3차원 데이터가 존재하도록 보간(Interpolation) 처리를 수행하는 것이 바람직하다.
본 발명의 제1실시예에서는 사람의 얼굴은 굴곡으로 이루어져 있지만 3차원 얼굴 데이터 획득을 위한 얼굴 영역에서는 급격한 변화가 존재하지 않으며, 이에 따라서 상기 2대의 카메라(10,10')로 획득한 사용자의 2D 얼굴 영상에서 검출된 직선을 하나의 영상으로 종합했을 때 이웃한 직선들의 차이는 크지 않다는 정보를 이용하는 보간법을 적용하는 것이 바람직하며, 예컨대 코드 보간법을 적용할 수 있 다. 즉, 도 10의 (a)와 같이 드문드문한 맵(sparse map) 형태로 표시되는 3차원 얼굴 데이터의 각 직선에 도 11의 (a)에 나타낸 바와 같이 간단한 코드(code)를 부여한 상태에서 코드를 가진 이웃한 직선들 간의 빈 공간에 대하여 코드 보간을 적용하면 도 11의 (b)에 나타낸 바와 같이, 도 11의 (a)에 나타낸 이웃한 직선들 간의 빈 공간에 새로운 코드를 가진 선들을 생성할 수 있으며, 결과적으로 도 10의 (a)에 나타낸 바와 같이, 드문드문한 맵(sparse map) 형태로 표시되는 3차원 얼굴 데이터는 도 10의 (b)와 같이 조밀한 맵(dense map) 형태로 표시된다.
상기와 같이 보간 과정을 거쳐 도 10의 (b)와 같이 조밀한 맵(dense map) 형태로 표시되는 3차원 얼굴 데이터가 최종적으로 획득되고 나면, 부가적으로 상기 메인 프로세서(30)는 획득한 3차원 얼굴 데이터에 대하여 3차원 얼굴 데이터의 표면 질감을 표현하는 화상, 즉 텍스쳐(texture)을 첨부하는 텍스쳐 매핑(texture mapping)을 수행하여 도 12에 나타낸 바와 같이 사용자의 얼굴 영상을 복원한다.
[실시예2]
본 발명의 제2실시예는 도 13에 나타낸 바와 같이 1대의 카메라(10)와 격자무늬 레이저(20'), 및 메인 프로세서(30')를 포함하는 비강압적 3차원 얼굴 데이터 획득 시스템 및 방법에 관한 것으로, 본 발명의 제1실시예에 비해 정확도는 떨어지지만 여러 장의 얼굴 영상을 필요로 하지 않고 1대의 카메라(10)를 사용하므로 저렴한 비용으로 시스템을 구성할 수 있을 뿐만 아니라 1장의 얼굴 영상으로부터 3차원 얼굴 데이터를 빠르게 획득할 수 있다.
상기 1대의 카메라(10)는 사용자, 즉 얼굴 데이터 획득 대상자에 대한 가시 광선(예컨대, 380∼780nm 파장의 빛)과 근적외선(예컨대, 780∼2000nm 파장의 빛) 대역의 2D 얼굴 영상을 획득하며, 주변광의 영향을 최소화하면서 최적의 근적외선 영상을 촬영하기 위해 PM(Permeate)필터와 광학 저역통과 필터(OLPF; Optical Low Pass Filter)를 장착하고 있는 것이 바람직하다. 상기 1대의 카메라(10)와 사용자간의 거리는 1∼2m가 적당하다.
상기 격자무늬 레이저(20')는 사용자의 눈에 거부감이 없는 근적외선(예컨대, 850nm 혹은 950nm 등)을 이용한 격자무늬 조명 패턴을 사용자의 얼굴로 투사한다. 상기 격자무늬 레이저(20')는 상기 1대의 카메라(10)와 등극선 기하가 성립한다.
상기 메인 프로세서(30')는 상기 1대의 카메라(10)의 촬영 작동과 상기 격자무늬 레이저(20')의 격자무늬 조명 패턴 투사 작동을 제어한다.
상기 메인 프로세서(30')는 상기 1대의 카메라(10)를 통해 격자무늬 조명 패턴이 투사되는 사용자의 2D 얼굴 영상을 획득하면, 사용자의 2D 얼굴 영상의 등극선과 격자무늬 조명 패턴이 교차하는 교점을 대응점으로 찾아내고 이 대응점을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량(triangulation) 기법으로 사용자의 3차원 얼굴 데이터를 획득한다. 상기 삼각 측량 기법은 2개의 대응점으로 3차원 공간 상의 좌표를 복원하는 방법으로 알려져 있다.
상기 메인 프로세서(30')는 상기 대응점을 찾기 전에, 상기 1대의 카메라(10)를 통해 획득한 사용자의 2D 얼굴 영상에서 얼굴 영역을 추출한 후, 추출된 얼굴 영역에서 등극선과 격자무늬 조명 패턴이 교차하는 교점을 대응점으로 찾아낸 다.
상기 메인 프로세서(30')는 획득한 3차원 얼굴 데이터에 대하여 3차원 얼굴 데이터의 표면 질감을 표현하는 화상, 즉 텍스쳐(texture)을 첨부하는 텍스쳐 매핑(texture mapping)을 수행하여 사용자의 얼굴 영상을 복원한다.
상기와 같이 구성되는 본 발명의 제2실시예에 따른 비강압적 3차원 얼굴 데이터 획득 시스템은 도 14에 나타낸 방법에 의해 다음과 같이 작동한다.
도 14를 참조하면, 가장 먼저, 상기 격자무늬 레이저(20')가 메인 프로세서(30')의 제어에 의해 사용자의 눈에 거부감이 없는 근적외선을 이용한 격자무늬 조명 패턴을 사용자의 얼굴로 투사한다(S200).
상기와 같이 근적외선 격자무늬 조명 패턴이 투사되는 동안 상기 1대의 카메라(10)는 사용자에 대한 가시광선과 근적외선 대역의 2D 얼굴 영상을 획득한다(S210).
참고로, 도 15는 사용자 얼굴에 격자무늬 레이저920')의 격자무늬 조명 패턴을 투사하면서 1대의 카메라(10)로 획득한 영상을 예시하고 있다. 도 15의 (a)에 나타낸 좌측 영상은 격자무늬 레이저(20')에서 투사되는 격자무늬 조명 패턴의 영상으로 상기 메인 프로세서(30')에서 이미 이 영상을 알고 있는 것을 전제하며, 도 15의 (b)에 나타낸 우측 영상은 1대의 카메라(10)로 획득한 사용자의 2D 얼굴 영상이다.
이어서, 상기 메인 프로세서(30')는 상기 1대의 카메라(10)로 획득한 사용자의 2D 얼굴 영상에서 얼굴 영역을 검출한다(S220). 이 과정에서는 본 발명의 제1실 시예의 도 6을 참조하여 설명한 바와 같이, 비올라-존스 객체 검출기(Viola-Jones Object Detector) 또는 스킨 컬러 검출기(Skin Color Detector) 등과 같은 얼굴 영역 검출 알고리즘을 이용하여 사용자의 2D 얼굴 영상에서 배경, 머리카락 부분 등과 같이 얼굴 데이터 획득에 불필요한 부분을 제거하고 얼굴 영역만을 검출한다.
이어서, 상기 메인 프로세서(30')는 검출한 얼굴 영역에서 등극선과 격자무늬 조명 패턴이 교차하는 교점을 대응점으로 찾아낸 후(S230), 이 대응점들을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량(triangulation) 기법으로 사용자의 3차원 얼굴 데이터를 획득한다(S240).
참고로, 도 16은 사용자 얼굴 영상의 등극선과 격자무늬 레이저(20')의 격자무늬 조명 패턴이 교차하는 대응점을 나타낸 실시예로서, 도 16의 (a)에 나타낸 좌측 영상의 대응점은 도 16의 (b)에 나타낸 우측 영상의 등극선 상에 존재하는 것을 알 수 있다.
또한, 도 17은 찾아낸 대응점을 이용하여 삼각 측량(triangulation) 기법으로 획득한 사용자의 3차원 얼굴 데이터와 3차원 얼굴 데이터를 텍스쳐 매핑(texture mapping)한 실시예이다.
도 17의 (a)에 나타낸 바와 같이, 획득한 3차원 얼굴 데이터는 3차원 얼굴 데이터가 많지 않기 때문에 3차원 포인트들을 연결한 삼각형으로 만든 메쉬 맵(mesh map) 형태로 표시된다.
상기와 같이 메쉬 맵(mesh map) 형태로 표시되는 3차원 얼굴 데이터가 최종적으로 획득되고 나면, 부가적으로 상기 메인 프로세서(30')는 획득한 3차원 얼굴 데이터에 대하여 3차원 얼굴 데이터의 표면 질감을 표현하는 화상, 즉 텍스쳐(texture)을 첨부하는 텍스쳐 매핑(texture mapping)을 수행하여 도 17의 (b)에 나타낸 바와 같이 사용자의 얼굴 영상을 복원한다.
이상에서 설명한 본 발명에 따른 비강압적 3차원 얼굴 데이터 획득 시스템 및 그 방법은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양하게 변경하여 실시할 수 있는 범위까지 그 기술적 정신이 있다.