KR20190074454A

KR20190074454A - 입체이미지용 마스크 및 양안이미지의 생성방법, 장치 및 기록매체

Info

Publication number: KR20190074454A
Application number: KR1020170175819A
Authority: KR
Inventors: 이경택
Original assignee: (주)이더블유비엠
Priority date: 2017-12-20
Filing date: 2017-12-20
Publication date: 2019-06-28
Also published as: KR101994472B1

Abstract

평면이미지의 입체화에 이용되는 양안이미지의 생성방법으로서, 상기 평면이미지로부터 분할 또는 복제된 제1 이미지와 제2 이미지가 획득되는 분리단계와, 청구항 1에 의해 생성된 마스크가 상기 제1 이미지 및 제2 이미지에 적용되어, 각각 배경에 대해 전경이 천이된 제1 시프트이미지 및 제2 시프트이미지가 생성되는 시 프트이미지 생성단계와, 상기 제1 시프트이미지와 제2 시프트이미지를 각각, 우안이미지와 좌안이미지, 또는 좌안이미지와 우안이미지로 확정하는 양안이미지 확정단계를 포함하여 이루어짐을 특징으로 한다.

Description

입체이미지용 마스크 및 양안이미지의 생성방법, 장치 및 기록매체 {METHOD, APPARATUS AND RECORDING MEDIUM FOR GENERATING MASK AND BOTH-EYE IMAGES FOR THREE-DIMENSIONAL IMAGE}

본 발명은, 입체이미지용 마스크 및 양안이미지의 생성방법, 장치 및 기록매체에 관한 것으로서, 보다 상세히는, 이중조리개(Dual Aperture) 단일렌즈(Single Lens) 4컬러센서(4-color sensor) 카메라에서 추출된 평면이미지인 RGB이미지 및 IR이미지와 함께 깊이이미지(깊이정보)를 이용하여, 평면이미지의 전경/배경을 분리하기 위한 마스크, 이 마스크를 이용한 양안이미지의 생성 방법, 장치 및 기록매체에 관한 것이다.

일반적으로 이미지는, 깊이감의 제공 유무에 따라 평면이미지와 입체이미지로 나뉜다. 입체이미지는, 양안(兩眼)의 시차(視差)를 이용하여 깊이감을 제공한다. 입체이미지는, 시차이미지(disparity)인, 좌안에 의해 인지되는 좌안이미지와 우안에 의해 인지되는 우안이미지의 양안이미지에 의해 구현될 수 있다.

입체이미지의 잘 알려진 방식으로, 애너글리프(anaglyph, 여색 입체시, 餘色立體視) 방식을 들 수 있다. 이는, 좌안이미지와 우안이미지를 서로 다른 컬러, 특히 보색으로 제작하여 합성한다. 그리고 감상시에는, 제작된 이미지의 컬러와 반대 컬러의 좌안렌즈와 우안렌즈를 가지는 안경을 착용하여 감상한다. 예컨대 사이언(Cyan) 좌안이미지와 레드(Red) 우안이미지의 합성으로 애너글리프가 제작됐다면, 이 입체이미지의 감상을 위해서는 레드 좌안렌즈와 사이언 우안렌즈가 구비된 소위 적청(red-cyan)안경을 착용하면 된다.

입체이미지의 다른 방식으로서, 편광안경 방식을 들 수 있다. 이는, 디스플레이의 주사선 중 짝수 주사선과 홀수 주사선에 각각 좌안이미지와 우안이미지를 내보내고, 디스플레이 전면에 이들을 분리 출력하는 필터를 설치하며, 시청자는 이들 두 주사선을 선택적으로 각각 통과시키는 편광렌즈 2개로 구성된 편광안경을 착용하여 감상하도록 구성되어 있다.

또 다른 방식으로서, 셔터안경 방식을 들 수 있다. 이는, 하기 특허문헌과 같이, 디스플레이가 좌안이미지와 우안이미지를 시분할하여 번갈아 출력하고, 시청자는 이에 동기하여 좌안렌즈와 우안렌즈의 셔터를 번갈아 온오프시키는 셔터안경을 착용하여 감상하도록 구성되어 있다.

그리고 또 다른 방식으로서, 안경 없는 방식(무안경 방식)도 제시되어 있다. 이는, 디스플레이가 좌안이미지와 우안이미지의 픽셀을 교대로 나타내고, 디스플레이 전면에 이 픽셀 간격에 맞춰서 구멍이 구비된 차단막(parallax barrier)을 설치함으로써, 시청자는 안경 없이도 구멍들을 통해, 좌안은 좌안이미지 픽셀들만 보고, 우안은 우안이미지 픽셀들만 보도록 구성되어 있다.

이처럼, 상기 입체이미지 방식들은 모두 미리 좌안이미지와 우안이미지가 구비되어야 함을 알 수 있다.

그런데 종래에는, 상기 양안이미지의 획득에 있어서, 서로 이격되어 대상체를 향해 서로 다른 각도로 배치된 서로 다른 2개의 카메라, 즉 좌안용 카메라와 우안용 카메라로 이루어지는 스테레오 카메라(stereo camera)에 의해 동시에 촬상되는 것이 일반적이다. 이 촬상장치를 스테레오스코프(stereoscope, 입체경, 쌍안사진경, 입체카메라)라 한다. 상기 촬상된 두 이미지는, 서로 각도차(시차)를 가지도록 형성되고, 스테레오쌍(stereo pairs)이라 한다.

다만, 스테레오스코프를 이용하지 않고, 평면이미지에 깊이정보를 가미하여 양안이미지의 입체이미지를 형성하는 방식이 개발되었다. 그리고 상기 깊이정보는, 상기 스테레오 카메라에 의해 취득되거나 비행시간(TOF: Time of Flight) 방식의 센서에 의해 취득되었다.

특허공개 10-2011-0088963 공보

그런데, 양안용 상기 스테레오쌍을 직접 취득하는 상기 스테레오 카메라는, 비교적 매우 고가의 장비이고, 양 카메라가 별개로 구비되어 있고, 그 촬상각도와 초점의 설정 및 유지도 별도로 해야 하고, 촬상의 동기화도 필요하므로, 취급하기 쉽지 않다는 단점이 있다. 그리고 양 카메라는 RGB카메라이므로, 특히 낮은 조도에서는 촬상된 이미지의 품질이 크게 저하된다는 문제가 있다. 낮은 조도에서 이미지 정확성이 저하되므로, 깊이정보가 부정확하여, 전경/배경 등의 경계선(edge)이 부정확해지고 오인식된다는 문제가 있다.

그리고 상기 비행시간 방식의 센서는, 발사된 펄스의 기준시점과 대상물에서의 반사된 펄스의 검출시점 사이의 시간차를 이용하여 거리를 측정하는 것이므로, 카메라 이외에 펄스의 발신 및 수신을 위한 별도의 장치가 추가로 필요한데, 상기 펄스장비가 비교적 매우 고가의 장비라는 문제가 있고, 펄스의 종류에 따라서는, 빛, 소리 등 주변환경과 대상체의 종류(반사, 흡수 등)에 따라 인식율이 취약하다는 단점이 있다. 게다가 카메라와의 동기화도 필요하므로, 역시 취급하기 쉽지 않다는 단점이 있다.

이처럼, 상기 스테레오 카메라로부터의 깊이정보를 이용한 경우, 평면이미지의 전경(Foreground)의 추출 및 가공을 위한 경계선의 검출이 부정확하고, 평면이미지로부터 가공된 양안용 스테레오쌍의 이미지가 매끄럽지 못하다. 따라서 이들로부터 합성되는 결과물 입체이미지가 부자연스럽다는 단점이 있다. 이러한 단점은 저조도 환경이나 외란이 있는 환경에서 특히 심하다.

본 발명은, 상기 문제점을 해소하기 위해 이루어진 것으로서, 장비의 비용을 최소화할 수 있고, 단일 카메라에 의해 구성되어, 촬상각도와 초점의 설정 및 유지가 불필요하고, 촬상의 동기화도 불필요한, 평면이미지의 입체화를 위한 마스크와 양안이미지 생성방법 및 장치를 제공하고자 하는 것이다.

그리고 카메라에서 RGB뿐 아니라 IR이미지도 함께 취득함으로써, 특히 낮은 조도에서도 촬상된 이미지의 품질이 크게 향상되는, 평면이미지의 입체화를 위한 마스크와 양안이미지 생성방법 및 장치를 제공하고자 하는 것이다.

그리고 카메라로부터 취득된 깊이정보가 낮은 조도에서도 정확성이 유지되어, 전경/배경 등의 경계선(edge)이 정확하고 오인식이 해소되는, 평면이미지의 입체화를 위한 마스크와 양안이미지 생성방법 및 장치를 제공하고자 하는 것이다.

그리고 펄스의 송수신에 의한 깊이정보 취득방식이 아니어서, 펄스발신 및 수신을 위한 별도의 장치나 카메라와의 동기화 장치가 불필요하고, 빛, 소리 등 주변환경과 대상체의 종류(반사, 흡수 등)에 영향을 받지 않는, 평면이미지의 입체화를 위한 마스크와 양안이미지 생성방법 및 장치를 제공하고자 하는 것이다.

상기 과제를 해결하기 위한 본 발명의 마스크의 생성방법은, 이미지에서 전경을 분리하기 위해 이용되는 마스크의 생성방법으로서, 촬상장치로부터 동일 각도로 동시에 생성 및 입력된 RGB이미지와 IR이미지로부터 산출된 깊이(depth)정보를 나타내는 깊이이미지로부터 깊이 배경(background)이미지를 분리 추출하는 깊이배 경 추출단계와, 상기 깊이이미지, RGB이미지 또는 IR이미지로부터 추출된 경계선(edge) 이미지에서 상기 깊이 배경이미지를 감산하여 이루어진 경계선 전경(foreground)이미지의 경계선 내부를 삭제하여 이루어진 마스크를 생성하는 마스크 생성단계가 포함됨을 특징으로 한다.

여기서, 상기 촬상장치는, 이중조리개 (dual aperture) 단일렌즈(single lens) 4-컬러(4-color) 센서를 포함하는 단일 카메라임이 바람직하다.

그리고 상기 깊이배경 추출단계는, 미리 정해진 깊이 임계값을 기준으로 깊이 배경이미지와 깊이 전경이미지를 분리하도록 구성됨이 바람직하다.

그리고 상기 마스크 생성단계의 경계선 이미지는, 상기 IR이미지로부터 추출됨이 바람직하다.

그리고, 상기 마스크 생성단계에서, 상기 경계선 전경이미지 상의 등고선(contour)들을 찾은 후, 최대길이 또는 최대면적을 가지는 등고선을 남기고 나머지 등고선들을 지우고, 이진화(binarization)와 스무딩 필터링(smooth filtering)을 진행함이 바람직하다.

상기 과제를 해결하기 위한 본 발명의 양안이미지의 생성방법은, 평면이미지의 입체화에 이용되는 양안이미지의 생성방법으로서, 상기 평면이미지로부터 분할 또는 복제된 제1 이미지와 제2 이미지가 획득되는 분리단계와, 청구항 1에 의해 생성된 마스크가 상기 제1 이미지에 적용되어, 배경에 대해 전경이 천이된 제1 시프트이미지가 생성되는 시프트이미지 생성단계와, 상기 제1 시프트이미지와 제2 이미지를 각각, 우안이미지와 좌안이미지, 또는 좌안이미지와 우안이미지로 확정하는 양안이미지 확정단계를 포함하여 이루어짐을 특징으로 한다.

다른 실시예의 양안이미지의 생성방법은, 평면이미지의 입체화에 이용되는 양안이미지의 생성방법으로서, 상기 평면이미지로부터 분할 또는 복제된 제1 이미지와 제2 이미지가 획득되는 분리단계와, 청구항 1에 의해 생성된 마스크가 상기 제1 이미지 및 제2 이미지에 적용되어, 각각 배경에 대해 전경이 천이된 제1 시프트이미지 및 제2 시프트이미지가 생성되는 시프트이미지 생성단계와, 상기 제1 시프트이미지와 제2 시프트이미지를 각각, 우안이미지와 좌안이미지, 또는 좌안이미지와 우안이미지로 확정하는 양안이미지 확정단계를 포함하여 이루어짐을 특징으로 한다.

여기서, 상기 시프트이미지 생성단계는, 상기 천이의 대상이 되는 이미지가 상기 마스크에 의해 전경이미지와 배경이미지로 분리되는 전경 분리단계와, 상기 전경이미지가 미리 정해진 방향과 양으로 천이되어, 시프트 전경이미지가 생성되는 전경 시프트단계와, 상기 시프트 전경이미지와 배경이미지가 병합되어 시프트이미지가 산출되는 시프트이미지 산출단계를 포함하여 이루어짐이 바람직하다.

그리고 상기 평면이미지는 RGB이미지이고, 상기 분리단계에서, 상기 평면이미지가 서로 다른 컬러의 상기 제1 이미지와 제2 이미지로 채널 분할됨이 바람직하다.

여기서, 상기 서로 다른 컬러는, 보색임이 바람직하다.

그리고 상기 전경 시프트단계에서, 깊이값이 작을수록 시프트양이 크게 설정됨이 바람직하다.

그리고 상기 시프트이미지 생성단계에서, 상기 제1 이미지와 제2 이미지의 시프트방향이 서로 반대방향이 되도록 설정됨이 바람직하다.

한편, 상기 과제를 해결하기 위한 본 발명의 마스크의 생성장치는, 이미지에서 전경을 분리하기 위해 이용되는 마스크의 생성장치로서, 촬상장치로부터 동일 각도로 동시에 생성 및 입력된 RGB이미지와 IR이미지로부터 산출된 깊이(depth)정보를 나타내는 깊이이미지로부터 깊이 배경(background)이미지를 분리 추출하는 깊이배경 추출부와, 상기 깊이이미지, RGB이미지 또는 IR이미지로부터 추출된 경계선(edge) 이미지에서 상기 깊이 배경이미지를 감산하여 이루어진 경계선 전경(foreground)이미지의 경계선 내부를 삭제하여 이루어진 마스크를 생성하는 마스크 생성부가 포함됨을 특징으로 한다.

그리고 양안이미지의 생성장치는, 평면이미지의 입체화에 이용되는 양안이미지의 생성장치로서, 상기 평면이미지로부터 분할 또는 복제된 제1 이미지와 제2 이미지가 획득되는 분리부와, 청구항 13에 의해 생성된 마스크가 상기 제1 이미지에 적용되어, 배경에 대해 전경이 천이된 제1 시프트이미지가 생성되는 시프트이미지 생성부와, 상기 제1 시프트이미지와 제2 이미지를 각각, 우안이미지와 좌안이미지, 또는 좌안이미지와 우안이미지로 확정하는 양안이미지 확정부를 포함하여 이루어짐을 특징으로 한다.

다른 실시예의 양안이미지의 생성장치는, 평면이미지의 입체화에 이용되는 양안이미지의 생성장치로서, 상기 평면이미지로부터 분할 또는 복제된 제1 이미지와 제2 이미지가 획득되는 분리부와, 청구항 13에 의해 생성된 마스크가 상기 제1 이미지 및 제2 이미지에 적용되어, 각각 배경에 대해 전경이 천이된 제1 시프트이미지 및 제2 시프트이미지가 생성되는 시프트이미지 생성부와, 상기 제1 시프트이미지와 제2 시프트이미지를 각각, 우안이미지와 좌안이미지, 또는 좌안이미지와 우안이미지로 확정하는 양안이미지 확정부를 포함하여 이루어짐을 특징으로 한다.

한편, 상기 과제를 해결하기 위한 본 발명의 마스크의 생성방법을 위한 저장매체에 저장된 프로그램은, 상기 마스크의 생성방법의 실행을 위해 저장매체에 저장된 프로그램으로서, 상기 마스크의 생성방법의 각 단계를 정보처리기기에 실행시키기 위해 정보처리기기에 의해 읽을 수 있는 저장매체에 저장된 프로그램이다.

그리고, 본 발명의 양안이미지의 생성방법을 위한 저장매체에 저장된 프로그램은, 상기 각 실시예의 양안이미지의 생성방법의 실행을 위해 저장매체에 저장된 프로그램으로서, 상기 양안이미지의 생성방법의 각 단계를 정보처리기기에 실행시키기 위해 정보처리기기에 의해 읽을 수 있는 저장매체에 저장된 프로그램이다.

본 발명에 의하면, 장비의 비용을 최소화할 수 있고, 단일 카메라에 의해 구성되어, 촬상각도와 초점의 설정 및 유지가 불필요하고, 촬상의 동기화도 불필요한, 평면이미지의 입체화를 위한 마스크와 양안이미지 생성방법 및 장치가 제공된다.

그리고 카메라에서 RGB뿐 아니라 IR이미지도 함께 취득함으로써, 특히 낮은 조도에서도 촬상된 이미지의 품질이 크게 향상되는, 평면이미지의 입체화를 위한 마스크와 양안이미지 생성방법 및 장치가 제공된다.

그리고 카메라로부터 취득된 깊이정보가 낮은 조도에서도 정확성이 유지되어, 전경/배경 등의 경계선(edge)이 정확하고 오인식이 해소되는, 평면이미지의 입체화를 위한 마스크와 양안이미지 생성방법 및 장치가 제공된다.

그리고 펄스의 송수신에 의한 깊이정보 취득방식이 아니어서, 펄스발신 및 수신을 위한 별도의 장치나 카메라와의 동기화 장치가 불필요하고, 빛, 소리 등 주변환경과 대상체의 종류(반사, 흡수 등)에 영향을 받지 않는, 평면이미지의 입체화를 위한 마스크와 양안이미지 생성방법 및 장치가 제공된다.

도 1은, 본 발명의 방법 및 이 방법이 적용되는 장치에서의 데이터 흐름과 처리를 나타내는 블럭도이다.
도 2는, 이중조리개(dual aperture) 단일렌즈(single lens) 4-컬러(4-color) 센서를 포함하는 단일 카메라를 이용하는 반도체 칩의 출력인 깊이(depth)이미지(깊이 맵), RGB 이미지, 및 IR이미지를 나타내는 예시도이다.
도 3은, 깊이이미지를 깊이 전경(FG; Foreground)이미지와 깊이 배경(BG; Background)이미지로 분리하는 과정을 나타내는 예시도이다.
도 4는, IR이미지로부터 IR 경계선(edge) 이미지를 추출하는 경계선 검출과정을 나타내는 예시도이다.
도 5는, IR 경계선 이미지에서 깊이 배경이미지를 감산하여 IR 경계선 전경이미지를 만드는 과정을 나타내는 예시도이다.
도 6은, IR 경계선 전경이미지의 경계선 내부를 삭제하여 형성된 마스크의 예시도이다.
도 7은, RGB이미지를 보색인 제1 이미지인 레드(RED)이미지와 제2 이미지인 사이언(CYAN)이미지로 채널 분리하는 과정을 나타내는 예시도이다.
도 8은, 레드이미지에 마스크를 적용하여 레드 전경이미지와 레드 배경이미지를 만들고, 이 레드 전경이미지를 시프트시켜 시프트 레드 전경이미지를 생성하고, 이 시프트 레드 전경이미지와 레드 배경이미지를 병합하여 시프트 레드이미지를 생성하는 과정을 나타내는 예시도이다.
도 9는, 시프트 레드이미지를 예컨대 우안이미지로, 사이언이미지를 예컨대 좌안이미지로 각각 확정하고, 예컨대 이들을 합성함으로써, 최종 애너글리프식 입체이미지를 생성하는 과정을 나타내는 예시도이다.

이하, 첨부도면을 참조하면서 본 발명을 상세히 설명한다. 다만, 동일 구조에 의해 동일 기능을 수행하는 부재는, 도면이 달라지더라도 동일 부호를 유지함으로써, 그 상세한 설명을 생략하는 경우가 있다. 그리고 하나의 단계나 모듈은, 2 이상의 단계나 모듈로 분리되어 구현될 수 있고, 역으로, 2 이상의 단계나 모듈은, 하나의 단계나 모듈로 병합되어 구현될 수 있다. 그리고 방법을 수행하는 장치는, 하드웨어와 고정 형성된 회로에 의해 구현되어도 좋고, 하드웨어에 설치된 프로그램에 의해 가변적으로 변화 가능한 회로에 의해 구현되어도 좋다.

<마스크의 생성방법>

본 발명의 마스크의 생성방법은, 이미지에서 전경을 분리하기 위해 이용되는 도 6과 같은 마스크(24)의 생성방법이다.

상기 마스크의 생성방법은, 도 1과 같이, 깊이배경 추출단계와, 마스크 생성단계가 포함됨을 특징으로 한다.

상기 깊이배경 추출단계는, 촬상장치(11)로부터 동일 각도로 동시에 생성 및 입력된 RGB이미지(40)와 IR이미지(20)로부터 깊이맵 모듈(12)에 의해 산출된 깊이(depth)정보를 나타내는 깊이이미지(30)로부터 깊이 배경(background)이미지(31)를 분리 추출하는 단계이다.

상기 촬상장치(11)는 RGB이미지(40)와 IR이미지(20)를 동일 각도로 동시에 생성하는 장치이다. 여기서, 상기 촬상장치(11)는, 예컨대 이중조리개 (dual aperture) 단일렌즈(single lens) 4-컬러(4-color) 센서를 포함하는 단일 카메라임이 바람직하다. 상기 이중조리개 단일렌즈 4-컬러 센서는, 하나의 촬상소자에 RGB와 IR 촬상소자가 함께 구현된 센서로서, 하나의 렌즈를 통해 들어온 빛이 2개의 조리개를 통해 수광되어 4개의 컬러, 즉, R, G, B, IR의 컬러 이미지를 받아들이는 장치이다. 이로써 RGB이미지와 IR이미지는, 서로 동일 각도로 동시에 촬상된다.

이와 대비하여, 예컨대 종래기술의 스테레오그래프는, 2개의 RGB이미지를 생성하는 장치이므로, RGB이미지와 IR이미지를 생성하는 본 발명의 촬상장치와는 다르다. 게다가 상기 스테레오그래프는, 2개의 RGB이미지들이 서로 시차를 가지도록 생성하므로, 동일 각도로 생성하는 본 발명의 촬상장치와는 다르다.

그리고 상기 깊이이미지(30)는, RBG이미지(40)와 IR이미지(20)로부터 생성되는 것이므로, IR이미지에 의해 저조도에 강인한 효과가 있다. 예컨대 RGB이미지가 전혀 획득될 수 없는 칠흑같은 어둠 속에서도, 본원발명은 IR이미지에 의해 깊이정보의 취득이 가능하다.

이와 비교하여, 오직 2개의 RGB이미지들로부터 얻어지는 스테레오그래프에 의한 깊이정보는, 저조도에서 깊이정보의 취득이 불가능하거나 부정확하므로, 본 발명의 상기 깊이이미지(30)와 다르다.

게다가 비행시간 방식 센서에 의한 깊이정보는, 펄스의 발신 및 수신을 위한 별도의 장치가 추가로 필요하므로, 본 발명의 상기 촬상장치와는 다르다. 그리고 펄스의 종류에 따라서는, 빛, 소리 등 주변환경과 대상체의 종류(반사, 흡수 등)에 따라 인식율이 취약하다는 단점이 있다.

그리고 상기 깊이배경 추출단계는, 미리 정해진 깊이 임계값(D threshold)을 기준으로 깊이 배경이미지(31)와 깊이 전경이미지(32)를 분리하도록 구성됨이 바람직하다. 깊이 임계값은, 예컨대 중간값, 예컨대 0~100 중 50으로 설정(Th = 50)될 수 있다.

상기 마스크 생성단계는, 상기 깊이이미지(30), RGB이미지(40) 또는 IR이미지로(20)부터 추출된 경계선(edge) 이미지(21)에서 상기 깊이 배경이미지를 감산하여 이루어진 경계선 전경(foreground)이미지(23)의 경계선 내부를 삭제하여 이루어진 마스크(24)를 생성하는 단계이다.

그리고 상기 마스크 생성단계의 상기 경계선 이미지(21)는, 상기 깊이이미지(30)나 RGB이미지(40)에서 추출되어도 좋지만, 선명도나 조도의 면에서, 특히 상기 IR이미지(20)로부터 추출됨이 바람직하다. 상기 IR이미지(20)는, 전초점(all in-fucus) 이미지이고, 저조도 환경에서 강인하다.

그리고 상기 마스크 생성단계에서, 상기 경계선 내부의 삭제과정은, 상기 경계선 전경이미지(23) 상의 등고선(contour)들을 찾은 후, 최대길이 또는 최대면적을 가지는 등고선을 남기고 나머지 등고선들을 지우고, 이진화(binarization)와 스무딩 필터링(smooth filtering)을 진행함이 바람직하다.

<효과>

상기 과정에서 따라 마스크가 생성되면, 촬상장치가 간이하고 정밀도가 높으므로, 마스크의 경계선이 정밀하고 선명하게 된다. 또한, 별도의 IR장치 없이 촬상장치에서 IR이미지를 직접 획득하므로, 간소하게 저조도 하에서 정밀도가 향상된다. 그리고 하나의 촬상장치에 의해 RGB이미지와 IR이미지가 동시에 얻어지므로, 동기화가 필요치 않다. 게다가 촬상장치에 의해 RGB이미지와 IR이미지가 동일 각도로 촬상되므로, 두 이미지의 중심 어긋남이 발생되지 않는다. 그리고 하나의 촬상장치에 의한 RGB이미지와 IR이미지로부터 직접 깊이이미지가 추출되므로, 연산이 신속하고 정확하다.

상기 마스크는, 다음의 양안이미지의 생성에 이용될 수 있다.

<양안이미지의 생성방법>

본 발명의 양안이미지의 생성방법은, 입체이미지의 구현을 위해 필요한 양안이미지, 즉 우안이미지와 좌안이미지를 생성하는 방법이다.

애너글리프 방식에서는 양안이미지가 병합되어 입체이미지가 되고, 이 입체이미지는 적청안경을 통해 입체로 시인되게 된다.

편광안경 방식에서는, 짝수 주사선과 홀수 주사선에 각각 좌안이미지와 우안이미지를 내보내고, 디스플레이 전면에 이들을 분리 출력하는 필터를 설치하며, 시청자는 이들 두 주사선을 선택적으로 각각 통과시키는 편광렌즈 2개로 구성된 편광안경을 착용하여 입체로 시인하게 된다.

셔터방식에서는, 좌안이미지와 우안이미지를 시분할하여 번갈아 출력하고, 시청자는 이에 동기하여 좌안렌즈와 우안렌즈의 셔터를 번갈아 온오프시키는 셔터안경을 착용하여 입체로 시인하게 된다.

무안경방식에서는, 디스플레이가 좌안이미지와 우안이미지의 픽셀을 교대로 나타내고, 디스플레이 전면에 이 픽셀 간격에 맞춰서 구멍이 구비된 차단막(parallax barrier)이 설치되며, 시청자는 안경 없이도 구멍들을 통해, 좌안은 좌안이미지 픽셀들만 보고, 우안은 우안이미지 픽셀들만 보고 입체로 시인하게 된다

이 양안이미지는, 평면이미지로부터 생성된다. 이 평면이미지로서, RGB이미지(40)뿐 아니라 IR이미지(20)도 이용될 수 있다. 하지만, 이하에서는 편의상 평면이미지가 RGB이미지(40)인 경우를 예로 들어 설명한다. 다만, 평면이미지가 IR이미지(20)인 경우에도, 컬러를 전제로 한 기술을 제외하고는, RGB이미지(40)의 경우와 동일하게 적용된다.

<양안이미지의 생성방법-제1 실시예>

본 발명의 양안이미지의 생성방법은, 평면이미지(40)의 입체화에 이용되는 양안이미지의 생성방법이다.

제1 실시예의 양안이미지의 싱성방법은, 분리단계와, 시프트이미지 생성단계와, 양안이미지 확정단계를 포함하여 이루어짐을 특징으로 한다.

상기 분리단계는, 상기 평면이미지(40)로부터 분할 또는 복제된 제1 이미지(41)와 제2 이미지(42)가 획득되는 단계이다.

상기 시프트이미지 생성단계는, 상기 설명된 마스크(24)가 상기 제1 이미지(41)에 적용되어, 배경(44)에 대해 전경(43)이 천이된 제1 시프트이미지(46)가 생성되는 단계이다.

여기서, 상기 시프트이미지 생성단계는, 전경 분리단계와, 전경 시프트단계와, 시프트이미지 산출단계를 포함하여 이루어짐을 특징으로 한다.

상기 전경 분리단계는, 상기 천이의 대상이 되는 이미지(41, 42)가 상기 마스크(24)에 의해 전경이미지(43)와 배경이미지(44)로 분리되는 단계이다.

여기서 특히, 도 1과 같이, 상기 평면이미지가 RGB이미지(40)인 경우에는, 상기 분리단계에서, 상기 평면이미지(40)가 서로 다른 컬러의 상기 제1 이미지(41)와 제2 이미지(42)로 채널 분할됨이 바람직하다. 이로써 컬러에 따라 양안이미지를 분리시키는 전통적인 애너글리프가 만들어질 수 있다.

여기서, 상기 서로 다른 컬러에 대해서는 제한이 없지만, 컬러가 유사하면 입체성이 저하되고, 컬러가 서로 반대성향이 강할수록 시인성 및 입체성이 증가된다. 특히, 상기 서로 다른 컬러는, 보색임이 바람직하다. 빛의 보색인 경우, 예컨대 레드와 사이언처럼, 두 컬러가 겹치면 백색이 된다.

상기 전경 시프트단계는, 상기 전경이미지(43)가 미리 정해진 방향과 양으로 천이되어, 시프트 전경이미지(45)가 생성되는 단계이다.

여기서, 상기 전경 시프트단계에서, 깊이값이 작을수록 시프트양이 크게 설정됨이 바람직하다. 이로써 근거리의 전경은 큰 폭으로 움직이고 원거리의 전경은 작은 폭으로 움직이고 배경은 움직이지 않는 시프트이미지가 만들어진다.

상기 시프트이미지 산출단계는, 상기 시프트 전경이미지(45)와 배경이미지(44)가 병합되어 시프트이미지(46, 47)가 산출되는 단계이다.

상기 양안이미지 확정단계는, 상기 제1 시프트이미지(46)와 제2 이미지(42)를 각각, 우안이미지와 좌안이미지, 또는 좌안이미지와 우안이미지로 확정하는 단계이다.

<효과>

본 발명의 양안이미지의 생성방법에 의하면, 평면이미지가 2개의 이미지로 분리된 후, 이들 중 하나인 제1 이미지에 상기 마스크가 적용되어 전경이 분리되어 시프트된 후 배경과 결합됨으로써 시프트이미지기가 만들어지고, 이 시프트이미지와 원래의 제2 이미지가 양안이미지가 된다. 따라서 평면이미지에서 양안이미지가 생성된다. 특히 RGB이미지와 IR이미지를 동일 각도로 동시에 획득하는 센서로부터 연산된 깊이이미지를 이용하여 상기 마스크가 생성되므로, 마스크의 정밀도, 조도 강인성, 경계의 매끄러움 등이 우수하다. 그리고 시프트방향과 양이 제어 가능하므로, 다양한 시인성과 입체성의 양안이미지가 산출될 수 있다.

상기 양안이미지는, 애너글리프 방식, 편광방식, 필터방식, 무안경방식 등의 각 입체이미지 시청방식에 이용될 수 있다.

<양안이미지의 생성방법-제2 실시예>

제2 실시예의 양안이미지 생성방법은, 제1 실시예와 기본적으로 동일하지만, 제2 이미지(42)도 시프트된다는 점에 차이가 있다. 이로써, 상기 시프트이미지 생성단계에서, 제1 시프트이미지(46) 뿐아니라 제2 시프트이미지(47)도 생성된다. 그리고 상기 양안이미지 확정단계에서, 상기 제1 시프트이미지(46)와 제2 시프트이미지(47)를 각각, 우안이미지와 좌안이미지, 또는 좌안이미지와 우안이미지로 확정하게 된다.

<효과>

이 제2 실시예에 의하면, 제1 이미지(41)와 제2 이미지(42)가 모두 시프트되어, 제1 시프트이미지(46)와 제2 시프트이미지(47)가 생성되고, 이들이 양안이미지가 되므로, 원본 평면이미지의 전경이미지의 중심으로부터 입체이미지의 전경이미지의 중심이 이탈되는 정도를 줄일 수 있고, 예컨대 시프트 방향을 다양화함으로써 다양한 입체효과를 줄 수 있다.

즉, 이 제2 실시예에 있어서, 상기 시프트이미지 생성단계에서, 상기 제1 이미지와 제2 이미지의 시프트방향이 서로 반대방향이 되도록 설정됨이 바람직하다. 이로써 중심의 이탈을 저감시킬 수 있다. 여기에 더하여, 시프트양까지 동일하게 하면, 중심의 이탈도는 제로가 되므로, 입체화에 따른 불합리한 왜곡을 방지할 수 있다.

<장치>

상기 본 발명의 방법은, 소프트 와이어링 또는 하드 와이어링을 통한 장치로서 구현될 수 있다.

<마스크의 생성장치>

본 발명의 마스크의 생성장치는, 이미지에서 전경을 분리하기 위해 이용되는 도 6과 같은 마스크(24)의 생성장치이다. 이는 본 발명의 마스크의 생성방법과 대응된다.

상기 마스크의 생성장치는, 도 1과 같이,

촬상장치(11)로부터 동시에 생성 및 입력된 RGB이미지(40)와 IR이미지(20)로부터 깊이맵 모듈(12)에 의해 산출된 깊이(depth)정보를 나타내는 깊이이미지(30)로부터 깊이 배경(background)이미지(31)를 분리 추출하는 깊이배경 추출부와,

상기 깊이이미지(30), RGB이미지(40) 또는 IR이미지로(20)부터 추출된 경계선(edge) 이미지(21)에서 상기 깊이 배경이미지를 감산하여 이루어진 경계선 전경(foreground)이미지(23)의 경계선 내부를 삭제하여 이루어진 마스크(24)를 생성하는 마스크 생성부

가 포함됨을 특징으로 한다.

<양안이미지의 생성장치-제1 실시예>

평면이미지(40)의 입체화에 이용되는 양안이미지의 생성장치로서,

상기 평면이미지(40)로부터 분할 또는 복제된 제1 이미지(41)와 제2 이미지(42)가 획득되는 분리부와,

청구항 13에 의해 생성된 마스크(24)가 상기 제1 이미지(41)에 적용되어, 배경(44)에 대해 전경(43)이 천이된 제1 시프트이미지(46)가 생성되는 시프트이미지 생성부와,

상기 제1 시프트이미지(46)와 제2 이미지(42)를 각각, 우안이미지와 좌안이미지, 또는 좌안이미지와 우안이미지로 확정하는 양안이미지 확정부

를 포함하여 이루어짐을 특징으로 한다.

<양안이미지 생성장치-제2 실시예>

청구항 13에 의해 생성된 마스크(24)가 상기 제1 이미지(41) 및 제2 이미지(42)에 적용되어, 각각 배경(44)에 대해 전경(43)이 천이된 제1 시프트이미지(46) 및 제2 시프트이미지(47)가 생성되는 시프트이미지 생성부와,

상기 제1 시프트이미지(46)와 제2 시프트이미지(47)를 각각, 우안이미지와 좌안이미지, 또는 좌안이미지와 우안이미지로 확정하는 양안이미지 확정부

를 포함하여 이루어짐을 특징으로 한다.

<저장매체에 저장된 프로그램>

상기 본 발명의 방법은, 정보처리기기에 의해 읽을 수 있는 저장매체에 저장된 프로그램으로서 구현될 수 있다.

<저장매체-마스크의 생성방법>

상기 마스크의 생성방법용 프로그램은, 상기 설명된 마스크의 생성방법의 각 단계를 정보처리기기에 실행시키기 위해 정보처리기기에 의해 읽을 수 있는 저장매체에 저장된 프로그램이다.

<저장매체-양안이미지의 생성방법>

상기 양안이미지의 생성방법용 프로그램은, 상기 설명된 양안이미지의 생성방법의 각 단계를 정보처리기기에 실행시키기 위해 정보처리기기에 의해 읽을 수 있는 저장매체에 저장된 프로그램이다.

이상, 본 발명의 구체적 구성에 대해 첨부도면 및 실시예를 통해 상세히 설명하였으나, 본 발명은 이에 한하는 것이 아니고, 첨부된 청구범위에 기재된 범위 내에서 이루어지는 개량, 변형, 변경은 모두, 본 발명의 범위에 속하는 것으로 이해되어야 한다.

본 발명은, 입체이미지용 마스크 및 양안이미지의 생성방법, 장치 및 기록매체의 산업에 이용될 수 있다.

10: 정보추출장치
11: DA 카메라 모듈(촬상장치)
12: DA 깊이맵 모듈
20: IR이미지
21: IR 경계선이미지
22: 필터링
23: IR 경계선 전경이미지
24: 마스크
30: 깊이이미지
31: 깊이 배경이미지
32: 깊이 전경이미지
40: RGB이미지
41: 제1 이미지
42: 제2 이미지
43: 전경이미지
44: 배경이미지
45: 시프트 전경이미지
46: 제1 시프트 이미지
47: 제2 시프트 이미지
48: 입체이미지(이너글리프)

Claims

이미지에서 전경을 분리하기 위해 이용되는 마스크의 생성방법으로서,
촬상장치로부터 동일 각도로 동시에 생성 및 입력된 RGB이미지와 IR이미지로부터 산출된 깊이(depth)정보를 나타내는 깊이이미지로부터 깊이 배경(background)이미지를 분리 추출하는 깊이배경 추출단계와,
상기 깊이이미지, RGB이미지 또는 IR이미지로부터 추출된 경계선(edge) 이미지에서 상기 깊이 배경이미지를 감산하여 이루어진 경계선 전경(foreground)이미지의 경계선 내부를 삭제하여 이루어진 마스크를 생성하는 마스크 생성단계
가 포함됨을 특징으로 하는 마스크의 생성방법.
청구항 1에 있어서,
상기 촬상장치는, 이중조리개 (dual aperture) 단일렌즈(single lens) 4-컬러(4-color) 센서를 포함하는 단일 카메라임
을 특징으로 하는 마스크의 생성방법.
청구항 1 또는 청구항 2에 있어서,
상기 깊이배경 추출단계는, 미리 정해진 깊이 임계값을 기준으로 깊이 배경이미지와 깊이 전경이미지를 분리하도록 구성됨
을 특징으로 하는 마스크의 생성방법.
청구항 1 또는 청구항 2에 있어서,
상기 마스크 생성단계의 경계선 이미지는, 상기 IR이미지로부터 추출됨
을 특징으로 하는 마스크의 생성방법.
청구항 1 또는 청구항 2에 있어서,
상기 마스크 생성단계에서,
상기 경계선 전경이미지 상의 등고선(contour)들을 찾은 후, 최대길이 또는 최대면적을 가지는 등고선을 남기고 나머지 등고선들을 지우고,
이진화(binarization)와 스무딩 필터링(smooth filtering)을 진행함
을 특징으로 하는 마스크의 생성방법.
평면이미지의 입체화에 이용되는 양안이미지의 생성방법으로서,
상기 평면이미지로부터 분할 또는 복제된 제1 이미지와 제2 이미지가 획득되는 분리단계와,
청구항 1에 의해 생성된 마스크가 상기 제1 이미지에 적용되어, 배경에 대해 전경이 천이된 제1 시프트이미지가 생성되는 시프트이미지 생성단계와,
상기 제1 시프트이미지와 제2 이미지를 각각, 우안이미지와 좌안이미지, 또는 좌안이미지와 우안이미지로 확정하는 양안이미지 확정단계
를 포함하여 이루어짐을 특징으로 하는 양안이미지의 생성방법.
평면이미지의 입체화에 이용되는 양안이미지의 생성방법으로서,
상기 평면이미지로부터 분할 또는 복제된 제1 이미지와 제2 이미지가 획득되는 분리단계와,
청구항 1에 의해 생성된 마스크가 상기 제1 이미지 및 제2 이미지에 적용되어, 각각 배경에 대해 전경이 천이된 제1 시프트이미지 및 제2 시프트이미지가 생성되는 시프트이미지 생성단계와,
상기 제1 시프트이미지와 제2 시프트이미지를 각각, 우안이미지와 좌안이미지, 또는 좌안이미지와 우안이미지로 확정하는 양안이미지 확정단계
를 포함하여 이루어짐을 특징으로 하는 양안이미지의 생성방법.
청구항 6 또는 청구항 7에 있어서,
상기 시프트이미지 생성단계는,
상기 천이의 대상이 되는 이미지가 상기 마스크에 의해 전경이미지와 배경이미지로 분리되는 전경 분리단계와,
상기 전경이미지가 미리 정해진 방향과 양으로 천이되어, 시프트 전경이미지가 생성되는 전경 시프트단계와,
상기 시프트 전경이미지와 배경이미지가 병합되어 시프트이미지가 산출되는 시프트이미지 산출단계
를 포함하여 이루어짐을 특징으로 하는 양안이미지의 생성방법.
청구항 6 또는 청구항 7에 있어서,
상기 평면이미지는 RGB이미지이고,
상기 분리단계에서, 상기 평면이미지가 서로 다른 컬러의 상기 제1 이미지와 제2 이미지로 채널 분할됨
을 특징으로 하는 양안이미지의 생성방법.
청구항 9에 있어서,
상기 서로 다른 컬러는, 보색임
을 특징으로 하는 양안이미지의 생성방법.
청구항 8에 있어서,
상기 전경 시프트단계에서, 깊이값이 작을수록 시프트양이 크게 설정됨
을 특징으로 하는 양안이미지의 생성방법.
청구항 7에 있어서,
상기 시프트이미지 생성단계에서, 상기 제1 이미지와 제2 이미지의 시프트방향이 서로 반대방향이 되도록 설정됨
을 특징으로 하는 양안이미지의 생성방법.
이미지에서 전경을 분리하기 위해 이용되는 마스크의 생성장치로서,
촬상장치로부터 동일 각도로 동시에 생성 및 입력된 RGB이미지와 IR이미지로부터 산출된 깊이(depth)정보를 나타내는 깊이이미지로부터 깊이 배경(background)이미지를 분리 추출하는 깊이배경 추출부와,
상기 깊이이미지, RGB이미지 또는 IR이미지로부터 추출된 경계선(edge) 이미지에서 상기 깊이 배경이미지를 감산하여 이루어진 경계선 전경(foreground)이미지의 경계선 내부를 삭제하여 이루어진 마스크를 생성하는 마스크 생성부
가 포함됨을 특징으로 하는 마스크의 생성장치.
평면이미지의 입체화에 이용되는 양안이미지의 생성장치로서,
상기 평면이미지로부터 분할 또는 복제된 제1 이미지와 제2 이미지가 획득되는 분리부와,
청구항 13에 의해 생성된 마스크가 상기 제1 이미지에 적용되어, 배경에 대해 전경이 천이된 제1 시프트이미지가 생성되는 시프트이미지 생성부와,
상기 제1 시프트이미지와 제2 이미지를 각각, 우안이미지와 좌안이미지, 또는 좌안이미지와 우안이미지로 확정하는 양안이미지 확정부
를 포함하여 이루어짐을 특징으로 하는 양안이미지의 생성장치.
평면이미지의 입체화에 이용되는 양안이미지의 생성장치로서,
상기 평면이미지로부터 분할 또는 복제된 제1 이미지와 제2 이미지가 획득되는 분리부와,
청구항 13에 의해 생성된 마스크가 상기 제1 이미지 및 제2 이미지에 적용되어, 각각 배경에 대해 전경이 천이된 제1 시프트이미지 및 제2 시프트이미지가 생성되는 시프트이미지 생성부와,
상기 제1 시프트이미지와 제2 시프트이미지를 각각, 우안이미지와 좌안이미지, 또는 좌안이미지와 우안이미지로 확정하는 양안이미지 확정부
를 포함하여 이루어짐을 특징으로 하는 양안이미지의 생성장치.
이미지에서 전경을 분리하기 위해 이용되는 마스크의 생성방법의 각 단계를 정보처리기기에 실행시키기 위해 저장매체에 저장된 프로그램으로서,
청구항 1 또는 청구항 2의 마스크의 생성방법의 각 단계를 정보처리기기에 실행시키기 위해 정보처리기기에 의해 읽을 수 있는 저장매체에 저장된 프로그램.
평면이미지의 입체화에 이용되는 양안이미지의 생성방법의 각 단계를 정보처리기기에 실행시키기 위해 저장매체에 저장된 프로그램으로서,
청구항 6 또는 청구항 7의 양안이미지의 생성방법의 각 단계를 정보처리기기에 실행시키기 위해 정보처리기기에 의해 읽을 수 있는 저장매체에 저장된 프로그램.