KR102009990B1 - 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법 - Google Patents

Abstract

본 발명은 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법에 관한 것으로, 보다 상세하게는 스테레오 카메라 영상을 이용하여 안개 등 산란매질을 통과한 영상에서 깊이맵을 추출할 수 있는 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법에 관한 것이다. 본 발명에 의하면, 산란매질을 통과한 영상을 간단한 연산으로 깊이맵을 구할 수 있고, 운전 중 안개 등의 너머에 있는 물체를 인식할 수 있으므로 안전 운전에 유용하다.

Description

3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법{SYSTEM AND METHOD FOR ACQUISITION OF SAFE VISION BASED ON 3D BPC IMAGING TECHNOLOGY}

본 발명은 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법에 관한 것으로, 보다 상세하게는 스테레오 카메라 영상을 이용하여 안개 등 산란매질을 통과한 영상에서 깊이맵을 추출할 수 있는 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법에 관한 것이다. 본 발명에 의하면, 산란매질을 통과한 영상을 간단한 연산으로 깊이맵을 구할 수 있고, 운전 중 안개 등의 너머에 있는 물체를 인식할 수 있으므로 안전 운전에 유용하다.

최근 자율 주행 자동차 등의 등장에 따라, 자동차 주변에 발생하는 각종 상황에 대한 인식이 매우 중요하게 대두되고 있다.

안개 또는 화재연기와 같은 다중 산란매질에 의해 전방시야를 확보하지 못해 발생하는 재난 사고가 다수 발생 하고 있다. 이러한 사고를 방지하고자 각종 센서 뿐만 아니라 전방시야 확보를 위한 연구가 진행중이다.

전방 시야 미확보로 발생하는 대형 재난 사고를 줄이고, 화재 및 재난 상황에서 안개 또는 연기와 같은 다중 산란매질(scattering medium)에 의해 가려진 물체를 인식하고, 거리정보를 제공하기 위해서는 안전시야 획득 기술을 필요하다.

안개, 화재 등의 극한 조건에서는 많은 컴퓨터 비전 응용 프로그램을 통해 보다 더 좋은 결과를 얻기 위해 다양한 연구가 진행되고 있으나, 화질개선을 통해 가려진 물체를 확인 하는 수준의 연구가 주로 진행되고 있으며, 아직 거리정보를 획득하지는 못하고 있다.

등록특허공보 제10-1650009호 “단일 기록 영상에 대한 산란 노이즈 제거 및 광자 검출을 통해 원영상을 복원하는 방법 및 그 기록매체”에서는 통계적 추론 방법을 이용하여 산란매질을 추정한 후 산란 노이즈를 제거하고, 남은 생존 광자들을 검출하는 방법을 통하여 원영상을 복원하는 방법이 개시되어 있다.

공개특허공보 제10-2013-0082054호 “깊이 영상의 깊이 값을 복원하는 방법 및 장치”에서는 ToF 카메라에 의해 촬영된 깊이 영상 내의 픽셀의 깊이 값을 계산하는 방법 및 장치가 개시되어 있다. 그러나, 깊이 값을 계산하기 위해서는 일반 카메라가 아닌 ToF 카메라를 이용해야 하는 문제가 있다.

등록특허공보 제10-1650009호 “단일 기록 영상에 대한 산란 노이즈 제거 및 광자 검출을 통해 원영상을 복원하는 방법 및 그 기록매체” 공개특허공보 제10-2013-0082054호 “깊이 영상의 깊이 값을 복원하는 방법 및 장치”

본 발명의 목적은, 다중산란 매질을 통과한 스테레오 영상으로부터 거리정보를 가지는 거리맵을 구할 수 있는 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법을 제공하는 것이다.

본 발명의 다른 목적은, 3D BPC Imaging 처리를 통해 획득된 양안 컬러 영상간의 시차를 이용하여 깊이값을 추정하는 스테레오 정합(stereo matching)기술과 이를 이용하여 간단하게 깊이맵을 구하는 방법을 제공하는 것이다.

본 발명의 목적은 이상에서 언급된 목적으로 제한되지 않으며, 언급되지 않은 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 이루기 위한 하나의 양태에 따르면, 본 발명은 3D BPC imaging 기술기반 안전시야 획득 방법에 있어서, (a) 카메라로부터 다중 산란 매질이 포함된 영상을 획득하는 단계; (b) 3D BPC Imaging 알고리즘을 이용하여, 다중 산란 매질이 포함된 영상으로부터 다중산란 매질이 제거된 영상을 획득하는 단계; 및 (c) 다중산란 매질이 제거된 영상에서 거리정보가 포함된 깊이맵을 획득하는 단계;를 포함한다.

상기 (b)단계는, (b-1) 획득된 다중 산란 매질이 포함된 영상을 균일하게 파티셔닝 하고 각각의 영상으로부터 가우시안 분포(Gaussian distribution)를 획득하는 단계; (b-2) 가우시안 분포의 평균값을 이용하여 소수의 광자만 남은, 다중 산란매질이 제거된 영상을 획득하는 단계; (b-3) 포아송 분포(Poisson distribution)를 이용하여, 다중 산란매질이 제거된 영상에서 광자의 개수 추론하는 단계; 및 (b-4) 광자의 개수가 추론된 영상을 이용하여, 물체가 인식 가능한 수준의 다중 산란매질 제거 영상을 획득하는 단계;를 포함할 수 있다.

상기 (c)단계는, (c-1) 다중 산란매질 제거된 양안 영상 내 컬러와 깊이 정보간의 상관도를 이용한 지원(support) 영역을 설정하는 단계; (c-3) DSI(Disparity Space Image)와 신뢰도 공간(reliability space) 구성, 공간 및 시간 영역에서 컬러 및 거리(시차) 정보의 유사성과 신뢰도 등을 이용해 신뢰도 높은 시차정보를 결정하는 단계; (c-4) 거리맵(Depth map)에서 가우시안 분포(Gaussian distribution) 획득 하여 관심 영역을 추론하는 단계; 및 (c-5) 관심영역 중심으로 거리(Depth) 정보를 정규화 하여 최종 거리맵(Depth map)을 획득하는 단계;를 포함할 수 있다.

상기 (c-3)단계는, SSIM으로 평가하여 유사도가 0.5 이상이고, PSNR로 평가하여 25dB 이상인 경우에, 신뢰도 높은 시차정보로 결정할 수 있다.

상기 목적을 이루기 위한 다른 양태에 따르면, 본 발명은 3D BPC imaging 기술기반 안전시야 획득 시스템에 있어서, 촬영하려는 지점을 향해 간격을 두고 설치되는 복수의 카메라를 구비하여, 다중 산란 매질이 포함된 스테레오 영상을 획득할 수 있는 카메라 모듈; 3D BPC Imaging 알고리즘을 이용하여, 다중 산란 매질이 포함된 영상으로부터 다중산란 매질이 제거된 영상을 획득하는 다중 산란매질 제거 모듈; 다중산란 매질이 제거된 영상에서 거리정보가 포함된 깊이맵을 획득하는 깊이맵 생성 모듈; 및 SSIM 및 PSNR을 평가하여, 모두 통과한 경우에만 깊이맵을 생성하고, 하나라도 통과하지 못하는 경우 다시 다중산란 매질이 제거된 영상을 획득하도록 하는 제어모듈;을 포함한다.

본 발명의 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법은 양안식 카메라(스테레오 카메라)를 통해 다중산란매질이 포함된 양안영상을 획득 하고, 다중 산란매질 제거기술(3D BPC imaging)로 양안 영상에서 다중 산란매질을 제거한 후, 두 영상의 시차정보를 이용하여 거리정보를 갖는 2D 깊이맵(Depth map)을 획득하므로, 다중 산란매질이 있는 영상에서도 거리정보를 구할 수 있다.

본 발명의 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법은 3D BPC Imaging 처리를 통해 획득된 양안 컬러 영상간의 시차를 이용하여 깊이값을 추정하는 스테레오 정합(stereo matching)기술을 이용하므로 이를 활용하여 간단하게 깊이맵(Depth map)을 획득할 수 있다.

도 1은 본 발명의 일 실시예에 따른 3D BPC imaging 알고리즘 기술의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 3D BPC Imaging 처리를 통해 획득된 양안 컬러 영상간의 시차를 이용하여 깊이값을 추정하는 방법을 나타낸 개념도이다.
도 3은 본 발명의 일 실시예에 따른 3D BPC imaging 기술기반 안전시야 획득 시스템이 스마트폰에 구현된 상태를 나타낸 개념도이다.
도 4는 본 발명의 일 실시예에 따른 3D BPC imaging 기술기반 안전시야 획득 방법을 나타낸 순서도이다.
도 5는 본 발명의 일 실시예에 따른 영상비교에 의한 깊이맵을 구하는 방법을 설명하는 개념도이다.

이하, 첨부한 도면들 및 후술되어 있는 내용을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 그러나, 본 발명은 여기서 설명되어지는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되어지는 것이다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 한편, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급되지 않는 한 복수형도 포함된다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

3D BPC Imaging 알고리즘은 안개와 같은 산란매질에서 전방의 객체를 확인하기 위해 사용자의 시야를 확보해주는 기술로써, 물체로부터 방사되는 광자 중 다중 산란매질을 통과한 1%의 광자를 이용하여 수학적 통계방법으로 이미지를 복원 하는 기술이다.

이하, 도 1 내지 도 5를 참조하여, 본 발명의 일 실시예에 따른 3D BPC imaging 기술기반 안전시야 획득 시스템 및 방법에 대하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 3D BPC imaging 알고리즘 기술의 개념도이다.

본 발명은 양안식 카메라(스테레오 카메라)를 통해 다중산란매질이 포함된 양안영상을 획득 하고, 다중 산란매질 제거기술(3D BPC imaging)로 양안 영상에서 다중 산란매질을 제거한 후, 두 영상의 시차정보를 이용하여 거리정보를 갖는 2D Depth map을 획득하는 발명이다.

3D BPC Imaging 알고리즘은 안개와 같은 산란매질에서 전방의 객체를 확인하기 위해 사용자의 시야를 확보해주는 기술로써, 물체로부터 방사되는 광자 중 다중 산란매질을 통과한 1%의 광자를 이용하여 수학적 통계방법으로 이미지를 복원 하는 기술이다.

3D BPC Imaging 알고리즘을 구체적으로 살펴보면,

① 카메라로부터 다중 산란 매질이 포함된 영상을 획득하는 단계;

② 획득된 영상을 균일하게 파티셔닝 하고 각각의 영상으로부터 가우시안 분포(Gaussian distribution)를 획득하는 단계;

③ 가우시안 분포의 평균값을 이용하여 소수의 광자만 남은 다중 산란매질이 제거된 영상을 획득하는 단계;

④ 포아송 분포(Poisson distribution)를 이용하여 다중 산란매질이 제거된 영상에서 광자의 개수 추론하는 단계;

⑤ 광자의 개수가 추론된 영상을 이용하여 물체가 인식 가능 한 수준의 다중 산란매질 제거 영상을 획득하는 단계;를 포함한다.

이러한 과정을 거쳐서, 다중 산란 매질을 통과한 영상에서 다중 산란매질이 제거된 영상을 얻을 수 있다.

도 2는 본 발명의 일 실시예에 따른 3D BPC Imaging 처리를 통해 획득된 양안 컬러 영상간의 시차를 이용하여 깊이값을 추정하는 방법을 나타낸 개념도이다.

3D BPC Imaging 처리를 통해 획득된 양안 컬러 영상은, 양안 컬러 영상간의 시차를 이용하여 깊이값을 추정할 수 있다. 이 때 사용되는 스테레오 정합(stereo matching)기술을 개발하여 거리맵(Depth map) 획득에 활용할 수 있다.

거리맵(Depth map)을 획득하는 구체적인 방법은,

① 다중 산란매질 제거된 양안 영상을 획득하는 단계;

② 영상내 컬러와 깊이정보간의 상관도를 이용한 지원(support) 영역을 설정하는 단계;

③ DSI(Disparity Space Image)와 신뢰도 공간(reliability space) 구성, 공간 및 시간 영역에서 컬러 및 거리(시차) 정보의 유사성과 신뢰도 등을 이용해 신뢰도 높은 시차정보를 결정하는 단계;

④ 거리맵(Depth map)에서 가우시안 분포(Gaussian distribution) 획득 하여 관심 영역을 추론하는 단계;

⑤ 관심영역 중심으로 거리(Depth) 정보를 정규화 하여 최종 거리맵(Depth map)을 획득하는 단계;를 포함한다.

이러한 과정을 거쳐서, 다중산란 매질이 제거된 영상에서 거리정보가 포함된 깊이맵을 얻을 수 있다.

도 3은 본 발명의 일 실시예에 따른 3D BPC imaging 기술기반 안전시야 획득 시스템이 스마트폰에 구현된 상태를 나타낸 개념도이다.

화면에 다중 산란매질이 제거된 영상이 표시되어 있다. 다중 산란 매질에 의해 가려져있던 부분 중에서 관심영역에 대하여 거리 정보가 표시 되는 것을 나타낸다.

도 4는 본 발명의 일 실시예에 따른 3D BPC imaging 기술기반 안전시야 획득 방법을 나타낸 순서도이다.

본 발명에 사용되는 카메라는 2대가 필요하다. 특수한 기능이 부가되지 않은 일반적인 카메라이어도 무방하다. 다만, 카메라 2대는 동일한 사양인 것이 바람직하다.

카메라 2대는 시차를 검출할 수 있도록 좌우 간격을 두고 일정 거리에 있는 지점에 초점을 맞춘다. 초점에서 왼쪽에 설치된 것을 카메라 L 이라 하고, 초점에서 오른쪽에 설치된 것을 카메라 R 이라 한다.

설치가 완료된 카메라 들로부터 과 카메라 L의 두대를 사용하는 스테레오 카메라이다. 일반 카메라도 가능하나, 가급적 규격이 동일한 카메라를 쌍으로 사용하는 것이 바람직하다.

카메라 설치가 완료되면, 왼쪽 카메라 L과 오른쪽 카메라 R로부터 영상을 획득한다(S110, S115).

각 카메라로부터 획득한 영상은 각각 파티셔닝 된다(S120, S125).

파티셔닝된 구역의 광자를 추출한다(S130, S135).

추출된 광자는 포아송 분포 함수에 넣어서 실행시킨다(S140, S145).

이렇게 추출된 R영상과, L영상을 비교하여 깊이맵(Depth map)을 구할 수 있다(S150).

이렇게 구한 깊이맵이 정확한 지 검토하기 위해서, SSIM 평가(S160) 및 PSNR 평가(S170)를 수행한다.

SSIM 평가(S160) 결과 유사도가 0.5 이상인 경우에는 정상 판정을 하고, 만약 유사도가 0.5 미만인 경우에는 깊이맵에 오류가 있는 것이므로, 다시 광자 추출 과정(S130, S135)으로 돌아가서 반복을 하게 된다.

SSIM 평가를 통과한 경우에는, PSNR 평가(S170)를 하게 되는데, 평가 결과 25dB 이상인 경우에는 정상판정을 하고, 만약 평가 결과가 25dB 미만인 경우에는 깊이맵에 오류가 있는 것이므로, 이 경우에도 다시 광자 추출 과정(S130, S135)으로 돌아가서 반복을 하게 된다.

만약, SSIM 평가와 PSNR 평가를 모두 통과한 경우, 영상에서 깊이를 추출할 수 있게 된다(S180).

만약, 카메라가 촬영하는 영역에 안개와 같은 다중 산란매질이 있는 경우에도, 깊이맵 획득(S150) 전에 산란매질의 제거가 가능하고, 그 결과 다중 산란매질이 제거된 영상에서 깊이를 획득(S180)할 수 있다.

도 5는 본 발명의 일 실시예에 따른 영상비교에 의한 깊이맵을 구하는 방법을 설명하는 개념도이다.

두 개의 이미지가 있을 경우, 우리는 직관적인 방법으로 이미지에서 자세한 정보를 얻을 수 있다.도 2를 참조하여 하나의 포인트에서 깊이정보를 획득하기 위한 수학 공식을 검토한다.

도 2의 O점(210)과 O’점(215)에 카메라를 두고, 두 카메라 모두 사이에 있는 X점(220)을 향하도록 배치한다면, OO’X로 이루어진 삼각형을 얻을 수 있다.

도 2에서, 두 카메라 사이의 거리는 B이고, 두 카메라의 초점거리는 f이고, 카메라의 위치인 O점(210)으로부터 X점(220)까지의 거리를 Z라고 할 때, X점은 O점의 카메라에서는 초점거리에 있는 x점(230)에 상이 맺힌다. 마찬가지로 O’점에 있는 카메라에서는 X점이 카메라의 초점거리에 있는 x’점(235)에 상이 맺힌다.

두 카메라의 초점거리에 있는 x점(230)과 x’점(235) 사이의 간격은 다음 식으로 구할 수 있다.

따라서, 카메라들로부터 X점(220)까지의 거리 Z는 Z = B f / (x x’) 으로 구할 수 있다. 즉, 평면(영상)상의 점의 깊이 정보 Z는 해당 점의 상(픽셀)의 거리의 차이 (x x’)에 반비례한다. 모든 픽셀에 대하여, 이 식을 적용하면, 이미지의 모든 픽셀의 깊이를 알 수 있다. 즉, 깊이맵(Depth map)을 구할 수 있게 된다.

이상의 과정을 요약하면, 3D BPC Image 기술로 획득된 양안 영상에서 포아송 분포를 이용하여 광자를 추론하고, 추론된 광자의 시차를 구하여 깊이 정보를 획득한다. 이때 광자는 매우 적은 수만 살아남기 때문에, Depth map 획득을 위한 시자정보획득을 위한 계산량이 적게 된다. 특히 이미지를 파티셔닝하고, 광자의 픽셀크기를 확대하여 계산하면 더욱 정확한 Depth map 획득이 가능하다.

이상에서 대표적인 실시 예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시 예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명된 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.

210, 215 : 카메라
220 : 카메라가 촬영하는 목적물 위치
230, 235 : 카메라의 초점 위치

Claims (5)

1. 삭제
2. 3D BPC imaging 기술기반 안전시야 획득 방법에 있어서,
   (a) 카메라로부터 다중 산란 매질이 포함된 영상을 획득하는 단계;
   (b) 3D BPC Imaging 알고리즘을 이용하여, 다중 산란 매질이 포함된 영상으로부터 다중산란 매질이 제거된 영상을 획득하는 단계; 및
   (c) 다중산란 매질이 제거된 영상에서 거리정보가 포함된 깊이맵을 획득하는 단계;를 포함하고,
   상기 (b)단계는,
   (b-1) 획득된 다중 산란 매질이 포함된 영상을 균일하게 파티셔닝 하고 각각의 영상으로부터 가우시안 분포(Gaussian distribution)를 획득하는 단계;
   (b-2) 가우시안 분포의 평균값을 이용하여 소수의 광자만 남은, 다중 산란매질이 제거된 영상을 획득하는 단계;
   (b-3) 포아송 분포(Poisson distribution)를 이용하여, 다중 산란매질이 제거된 영상에서 광자의 개수 추론하는 단계; 및
   (b-4) 광자의 개수가 추론된 영상을 이용하여, 물체가 인식 가능한 수준의 다중 산란매질 제거 영상을 획득하는 단계;를 포함하는 것을 특징으로 하는 3D BPC imaging 기술기반 안전시야 획득 방법.
3. 제2항에 있어서,
   상기 (c)단계는,
   (c-1) 다중 산란매질 제거된 양안 영상 내 컬러와 깊이 정보간의 상관도를 이용한 지원(support) 영역을 설정하는 단계;
   (c-3) DSI(Disparity Space Image)와 신뢰도 공간(reliability space) 구성, 공간 및 시간 영역에서 컬러 및 거리(시차) 정보의 유사성과 신뢰도 등을 이용해 신뢰도 높은 시차정보를 결정하는 단계;
   (c-4) 거리맵(Depth map)에서 가우시안 분포(Gaussian distribution) 획득 하여 관심 영역을 추론하는 단계; 및
   (c-5) 관심영역 중심으로 거리(Depth) 정보를 정규화 하여 최종 거리맵(Depth map)을 획득하는 단계;를 포함하는 것을 특징으로 하는 3D BPC imaging 기술기반 안전시야 획득 방법.
4. 제3항에 있어서,
   상기 (c-3)단계는,
   SSIM으로 평가하여 유사도가 0.5 이상이고, PSNR로 평가하여 25dB 이상인 경우에, 신뢰도 높은 시차정보로 결정하는 것을 특징으로 하는 3D BPC imaging 기술기반 안전시야 획득 방법.
5. 3D BPC imaging 기술기반 안전시야 획득 시스템에 있어서,
   촬영하려는 지점을 향해 간격을 두고 설치되는 복수의 카메라를 구비하여, 다중 산란 매질이 포함된 스테레오 영상을 획득할 수 있는 카메라 모듈;
   3D BPC Imaging 알고리즘을 이용하여, 다중 산란 매질이 포함된 영상으로부터 다중산란 매질이 제거된 영상을 획득하는 다중 산란매질 제거 모듈;
   다중산란 매질이 제거된 영상에서 거리정보가 포함된 깊이맵을 획득하는 깊이맵 생성 모듈; 및
   SSIM 및 PSNR을 평가하여, 모두 통과한 경우에만 깊이맵을 생성하고, 하나라도 통과하지 못하는 경우 다시 다중산란 매질이 제거된 영상을 획득하도록 하는 제어모듈;을 포함하고,
   상기 다중 산란매질 제거모듈은,
   획득된 다중 산란 매질이 포함된 영상을 균일하게 파티셔닝 하고 각각의 영상으로부터 가우시안 분포(Gaussian distribution)를 획득하고,
   가우시안 분포의 평균값을 이용하여 소수의 광자만 남은, 다중 산란매질이 제거된 영상을 획득하며,
   포아송 분포(Poisson distribution)를 이용하여, 다중 산란매질이 제거된 영상에서 광자의 개수 추론하고,
   광자의 개수가 추론된 영상을 이용하여, 물체가 인식 가능한 수준의 다중 산란매질 제거 영상을 획득하도록 구비되는 것을 특징으로 하는 3D BPC imaging 기술기반 안전시야 획득 시스템.

Images