KR102324605B1 - 변이 영상 생성 방법 및 장치 - Google Patents

변이 영상 생성 방법 및 장치 Download PDF

Info

Publication number
KR102324605B1
KR102324605B1 KR1020150073252A KR20150073252A KR102324605B1 KR 102324605 B1 KR102324605 B1 KR 102324605B1 KR 1020150073252 A KR1020150073252 A KR 1020150073252A KR 20150073252 A KR20150073252 A KR 20150073252A KR 102324605 B1 KR102324605 B1 KR 102324605B1
Authority
KR
South Korea
Prior art keywords
value
disparity
image
pixel
disparity image
Prior art date
Application number
KR1020150073252A
Other languages
English (en)
Other versions
KR20160138847A (ko
Inventor
신홍창
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150073252A priority Critical patent/KR102324605B1/ko
Priority to CN201610357234.0A priority patent/CN106210691B/zh
Publication of KR20160138847A publication Critical patent/KR20160138847A/ko
Application granted granted Critical
Publication of KR102324605B1 publication Critical patent/KR102324605B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

변이 영상 생성 장치는 스테레오 영상의 제1 영상과 제2 영상 각각에 대해 스테레오 정합을 수행하여 제1 초기 변이 영상과 제2 초기 변이 영상을 생성하고, 상기 제1 초기 변이 영상과 상기 제2 초기 변이 영상을 각각 경계 보존 필터링하여 제1 개선 변이 영상과 제2 개선 변이 영상을 생성한 후, 상기 제1 및 제2 초기 변이 영상의 각 화소의 변이값에 대한 신뢰도 인자와 상기 제1 및 제2 개선 변이 영상의 각 화소의 변이값에 대한 신뢰도 인자를 이용하여, 상기 제1 및 제2 초기 변이 영상의 각 화소의 변이값을 개선한다.

Description

변이 영상 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING DISPARITY IMAGE}
본 발명은 변이 영상 생성 방법 및 장치에 관한 것으로, 특히 스테레오 정합(stereo matching)을 통해서 구해진 초기 변이를 보다 정확하게 개선하여 최종적인 변이 영상을 생성하는 방법 및 장치에 관한 것이다.
스테레오 정합(Stereo matching)이란 두 장 혹은 그 이상의 영상에서 서로 대응점(correspondence points)을 검출하는 기술이다. 스테레오 정합 기술을 이용하여 두 시점 이상의 영상 간의 대응점의 변이(disparity)를 구할 수 있고, 이 변이 값을 토대로 영상 내의 객체의 깊이(depth)를 계산할 수 있다. 변이 맵(disparity map)은 영상 기반의 렌더링(image-based rendering) 혹은 로봇 비전(robot vision), 차세대 실감 방송 등의 다양한 분야에서 활용될 수 있다.
스테레오 정합 기술은 영상 처리 분야에서 많은 연구가 되어온 분야이며, 다양한 방법이 연구되어 왔다. 스테레오 정합 기술은 크게 전역(global) 알고리즘 방식과 국부(local) 알고리즘 방식으로 나뉜다. 전역 알고리즘 방식은 신뢰 확산(belief propagation), 그래프 컷(graph-cut) 등과 같은 전역 최적화 방법을 사용하며, 국부 알고리즘 방식은 영상을 블록 기반으로 나누어 국부의 비용 계산을 하고 최적화하는 방법이다.
전역 알고리즘 방식은 국부 알고리즘 방식보다 비교적 정확한 추출이 가능하지만 최적화 연산에 소요되는 시간이 오래 걸려 실시간으로 활용하기에는 무리가 있다. 최근에는 국부 알고리즘 방식을 통해 초기 정합을 수행하여 초기 변이를 계산하고, 경계 보존 필터링(edge-preserving filtering)을 통해 초기 변이를 개선하는 방법들이 널리 사용되고 있다.
경계 보존 필터링으로 가장 대표적인 방법 중의 하나로 양방향 필터링(bilateral filtering)이 있다. 양방향 필터링은 입력된 영상의 각 화소를 중심 화소로 설정하고, 중심 화소를 기준으로 일정 크기의 블록 안에 있는 인접 화소들과 중심 화소간의 색상 차이(range kernel)와 거리 차이(domain kernel)를 이용하여 영상의 의미있는 경계를 보존하고 이외의 영역을 평활화(smoothing)한다. 즉, 양방향 필터링은 스테레오 정합 시에 발견되는 경계 부분에서 가려짐 영역(occlusion) 혹은 오정합으로 인해 생기는 뭉개짐 현상을 개선하기 위해 경계를 보존하면서 변이 값을 평활화한다.
이러한 경계 보존 필터링은 스테레오 영상 중에서 한쪽의 영상만을 고려하여 스테레오 정합으로 계산된 초기 변이 값을 변화시키기 때문에 스테레오 영상 각각에 대해 독립적으로 경계 보존 필터링을 적용하면 서로 양방향 일관성이 유지되어야 하는 변이 값이 불일치되는 현상이 발생하는 문제가 있다.
본 발명이 해결하려는 과제는 스테레오 정합(stereo matching)을 통해서 구해진 초기 변이를 보다 정확하게 개선할 수 있는 변이 영상 생성 방법 및 장치를 제공하는 것이다.
본 발명의 한 실시 예에 따르면, 변이 영상 생성 장치에서 변이 영상을 생성하는 방법이 제공된다. 변이 영상 생성 방법은 스테레오 영상의 제1 영상과 제2 영상 각각에 대해 스테레오 정합을 수행하여 제1 초기 변이 영상과 제2 초기 변이 영상을 생성하는 단계, 상기 제1 초기 변이 영상과 상기 제2 초기 변이 영상을 각각 경계 보존 필터링하여 제1 개선 변이 영상과 제2 개선 변이 영상을 생성하는 단계, 상기 제1 초기 변이 영상의 각 화소의 변이값에 신뢰도 인자와 상기 제1 개선 변이 영상의 각 화소의 변이값에 대한 신뢰도 인자를 이용하여, 상기 제1 초기 변이 영상의 각 화소의 변이값을 개선하는 단계, 그리고 상기 제2 초기 변이 영상의 각 화소의 변이값에 신뢰도 인자와 상기 제2 개선 변이 영상의 각 화소의 변이값에 대한 신뢰도 인자를 이용하여, 상기 제2 초기 변이 영상의 각 화소의 변이값을 개선하는 단계를 포함한다.
상기 제1 초기 변이 영상의 각 화소의 변이값을 개선하는 단계는 상기 제1 초기 변이 영상과 상기 제2 초기 변이 영상간 각 대응점의 변이값에 대한 제1 좌우 일관성 수치를 계산하는 단계, 상기 제1 개선 변이 영상과 상기 제2 개선 변이 영상간 각 대응점의 변이값에 대한 제2 좌우 일관성 수치를 계산하는 단계, 상기 제1 초기 변이 영상의 상기 각 대응점에 해당하는 각 화소에 대해, 대응하는 상기 제1 좌우 일관성 수치와 대응하는 상기 제2 좌우 일관성 수치 중에서 신뢰도가 높은 좌우 일관성 수치를 선택하는 단계, 그리고 상기 제1 초기 변이 영상의 상기 각 대응점에 해당하는 각 화소에 대해, 상기 선택된 좌우 일관성 수치를 이용하여 상기 제1 초기 변이 영상의 각 화소의 변이값을 결정하는 단계를 포함할 수 있다.
상기 제1 초기 변이 영상의 각 화소의 변이값을 결정하는 단계는 상기 제1 초기 변이 영상의 상기 각 화소에 대해, 선택된 좌우 일관성 수치를 토대로 상기 각 화소의 좌우 일관성 신뢰도 수치를 계산하는 단계, 상기 제1 초기 변이 영상의 상기 각 화소를 순차적으로 중심 화소로 설정하는 단계, 상기 중심 화소를 중심으로 하는 설정 크기의 블록 내 각 주변 화소와 상기 중심 화소간 상관 관계를 나타내는 가중치값을 계산하는 단계, 그리고 상기 블록 내 주변 화소의 가중치값과 상기 주변 화소의 좌우 일관성 신뢰도 수치를 이용하여 상기 중심 화소의 변이값을 결정하는 단계를 포함할 수 있다.
상기 중심 화소의 변이값을 결정하는 단계는 상기 블록 내 주변 화소의 가중치값과 상기 주변 화소의 좌우 일관성 신뢰도 수치를 결합하여 상기 각 주변 화소의 최종 가중치를 계산하는 단계, 상기 블록 내 각 주변 화소의 최종 가중치 중에서 하나의 최종 가중치를 선택하는 단계, 그리고 상기 중심 화소의 변이값을 상기 하나의 최종 가중치로 선택된 주변 화소의 변이값으로 변경하는 단계를 포함할 수 있다.
상기 가중치값을 계산하는 단계는 상기 제1 초기 변이 영상에서의 상기 각 주변 화소의 변이값을 상기 각 주변 화소의 가중치값으로 계산하는 단계를 포함할 수 있다.
상기 가중치값을 계산하는 단계는 상기 제1 초기 변이 영상에서의 상기 각 주변 화소의 변이값과 상기 제1 개선 변이 영상에서 대응하는 각 주변 화소의 변이값을 이용하여 상기 각 주변 화소의 가중치값으로 계산하는 단계를 포함할 수 있다.
상기 가중치값을 계산하는 단계는 상기 각 주변 화소와 상기 중심 화소간 거리와 색상 값을 이용하여 상기 각 주변 화소의 가중치값을 계산하는 단계를 포함할 수 있다.
상기 가중치값을 계산하는 단계는 지역적 스테레오 정합에 사용되는 비용집적 함수를 이용하여 상기 각 주변 화소의 가중치값을 계산하는 단계를 포함할 수 있다.
상기 각 화소의 좌우 일관성 신뢰도 수치를 계산하는 단계는 상기 선택된 좌우 일관성 수치가 0인 경우 상기 좌우 일관성 신뢰도 수치를 1로 계산하는 단계, 상기 선택된 좌우 일관성 수치가 임계값보다 큰 경우 상기 좌우 일관성 신뢰도 수치를 0으로 계산하는 단계, 그리고 상기 선택된 좌우 일관성 수치가 상기 임계값 이하인 경우 상기 좌우 일관성 신뢰도 수치를 '1/상기 선택된 좌우 일관성 수치'의 값으로 계산하는 단계를 포함할 수 있다.
상기 제1 좌우 일관성 수치를 계산하는 단계는 상기 제1 초기 변이 영상과 상기 제2 초기 변이 영상간 각 대응점의 변이값에 대한 절대값의 차이로부터 상기 제1 좌우 일관성 수치를 계산하는 단계를 포함하고, 상기 제2 좌우 일관성 수치를 계산하는 단계는 상기 제1 개선 변이 영상과 상기 제2 개선 변이 영상간 각 대응점의 변이값에 대한 절대값의 차이로부터 상기 제2 좌우 일관성 수치를 계산하는 단계를 포함할 수 있다.
상기 선택하는 단계는 상기 제1 좌우 일관성 수치와 대응하는 상기 제2 좌우 일관성 수치 중에서 더 작은 값을 상기 신뢰도가 높은 좌우 일관성 수치로 판단하는 단계를 포함할 수 있다.
상기 제1 영상과 제2 영상 중 하나는 좌 영상이고, 나머지 하나는 우 영상일 수 있다.
본 발명의 다른 한 실시 예에 따르면, 스테레오 영상으로부터 변이 영상을 생성하는 장치가 제공된다. 변이 영상 생성 장치는 스테레오 정합부, 경계 보존 필터링부, 그리고 변이 개선부를 포함한다. 상기 스테레오 정합부는 상기 스테레오 영상의 제1 영상과 제2 영상 각각에 대해 스테레오 정합을 수행하여 제1 초기 변이 영상과 제2 초기 변이 영상을 생성한다. 상기 경계 보존 필터링부는 상기 제 초기 변이 영상과 상기 제2 초기 변이 영상 각각에 대해 경계 보존 필터링을 수행하여 제1 개선 변이 영상과 제2 개선 변이 영상을 생성한다. 그리고 상기 변이 개선부는 상기 제1 초기 변이 영상과 상기 제2 초기 변이 영상간 각 대응점의 두 화소의 변이값에 대한 좌우 일관성 검사를 수행하고, 상기 제1 개선 변이 영상과 상기 제2 개선 변이 영상간 각 대응점의 두 화소의 변이값에 대한 좌우 일관성 검사를 수행하며, 개선할 화소를 중심으로 하는 설정 크기의 블록 내 각 주변 화소와 상기 개선할 화소간 상관 관계를 나타내는 상기 각 주변 화소의 가중치값을 계산하고, 상기 제1 초기 변이 영상과 상기 제2 초기 변이 영상 각각에서 상기 좌우 일관성 검사와 상기 각 주변 화소의 가중치값을 이용하여 각 화소의 변이값을 개선한다.
상기 변이 개선부는 좌우 일관성 검사부, 그리고 변이값 결정부를 포함할 수 있다. 상기 좌우 일관성 검사부는 상기 좌우 일관성 검사를 통해서 상기 제1 초기 변이 영상과 상기 제2 초기 변이 영상간 각 대응점의 변이값에 대한 제1 좌우 일관성 수치와 제1 개선 변이 영상과 상기 제2 개선 변이 영상간 각 대응점의 변이값에 대한 제2 좌우 일관성 수치를 계산한다. 그리고 상기 변이값 결정부는 상기 제1 초기 변이 영상의 상기 각 대응점에 해당하는 각 화소에 대해, 대응하는 상기 제1 좌우 일관성 수치와 대응하는 상기 제2 좌우 일관성 수치 중에서 신뢰도가 높은 좌우 일관성 수치와 해당하는 각 주변 화소의 가중치값을 이용하여 상기 제1 초기 변이 영상의 각 화소의 변이값을 결정한다.
상기 변이 개선부는 상기 각 화소에 대해, 상기 신뢰도가 높은 좌우 일관성 수치를 이용하여 좌우 일관성 신뢰도 수치를 계산하는 좌우 일관성 신뢰도 계산부, 그리고 상기 각 화소에 대해, 해당하는 각 주변 화소의 가중치값과 상기 좌우 일관성 신뢰도 수치를 결합하여 대응하는 블록 내 각 주변 화소의 최종 가중치를 계산하는 가중치 계산부를 더 포함할 수 있고, 상기 변이값 결정부는 상기 각 화소에 대해, 상기 대응하는 블록 내 각 주변 화소의 최종 가중치들 중에서 선택된 하나의 최종 가중치를 가지는 화소의 변이값을 상기 각 화소의 변이값으로 결정할 수 있다.
상기 좌우 일관성 신뢰도 계산부는 상기 신뢰도가 높은 좌우 일관성 수치가 0인 경우 상기 좌우 일관성 신뢰도 수치를 1로 계산하고, 상기 신뢰도가 높은 좌우 일관성 수치가 임계값보다 큰 경우 상기 좌우 일관성 신뢰도 수치를 0으로 계산하며, 상기 신뢰도가 높은 좌우 일관성 수치가 상기 임계값 이하인 경우 상기 좌우 일관성 신뢰도 수치를 '1/상기 선택된 좌우 일관성 수치'의 값으로 계산할 수 있다.
상기 변이 개선부는 상기 제1 초기 변이 영상의 상기 각 대응점에 해당하는 각 화소에 대해, 대응하는 상기 제1 좌우 일관성 수치와 대응하는 상기 제2 좌우 일관성 수치 중에서 더 작은 값을 상기 신뢰도가 높은 좌우 일관성 수치로 판단하는 좌우 일관성 수치 선택부를 더 포함하고, 상기 좌우 일관성 검사부는 대응하는 각 대응점의 변이값에 대한 절대값의 차이로부터 상기 제1 좌우 일관성 수치와 상기 제2 좌우 일관성 수치를 계산할 수 있다.
상기 변이 개선부는 상기 제1 초기 변이 영상에서의 상기 각 주변 화소의 변이값을 상기 각 주변 화소의 가중치값으로 계산하거나, 상기 제1 초기 변이 영상에서의 상기 각 주변 화소의 변이값과 상기 제1 개선 변이 영상에서 대응하는 각 주변 화소의 변이값을 이용하여 상기 각 주변 화소의 가중치값으로 계산할 수 있다.
상기 변이 개선부는 상기 각 주변 화소와 상기 개선할 화소간 거리와 색상 값을 이용하여 상기 각 주변 화소의 가중치값을 계산하거나, 지역적 스테레오 정합에 사용되는 비용집적 함수를 이용하여 상기 각 주변 화소의 가중치값을 계산할 수 있다.
상기 변이값 결정부는 상기 제2 초기 변이 영상의 상기 각 대응점에 해당하는 각 화소에 대해, 대응하는 상기 제1 좌우 일관성 수치와 대응하는 상기 제2 좌우 일관성 수치 중에서 신뢰도가 높은 좌우 일관성 수치와 해당하는 각 주변 화소의 가중치값을 이용하여 상기 제2 초기 변이 영상의 각 화소의 변이값을 결정할 수 있다.
본 발명의 실시 예에 의하면, 스테레오 정합을 통해서 계산된 변이 영상과 경계 보존 평활화 필터를 통해서 평활화된 변이 영상이 주어진 상태에서 두 변이 영상으로 좌우 일관성을 보완하여 보다 정확하게 변이 영상을 생성할 수 있다.
도 1은 본 발명의 실시 예에 따른 변이 영상 생성 방법을 개략적을 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 변이 개선 절차를 설명하는 흐름도이다.
도 3은 본 발명의 실시 예에 따른 좌우 일관성을 설명하는 도면이다.
도 4는 본 발명의 실시 예에 따른 중심 화소를 기준으로 하는 블록을 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 변이 영상 생성 장치를 나타낸 도면이다.
도 6은 도 5에 도시된 변이 개선부를 나타낸 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이제 본 발명의 실시 예에 따른 변이 영상 생성 방법 및 장치에 대하여 도면을 참고로 하여 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 변이 영상 생성 방법을 개략적을 나타낸 도면이다.
도 1을 참고하면, 변이 영상 생성 장치(100)는 스테레오 영상의 좌 영상과 우 영상 각각에 대해 스테레오 정합을 수행하여 초기 좌변이 영상과 초기 우변이 영상을 생성한다(S110). 스테레오 정합은 스테레오 영상의 좌영상과 우영상 중 하나를 기준 영상으로 설정하고, 다른 하나를 비교 영상으로 설정한 다음, 기준 영상과 비교 영상에서 서로 대응되는 대응점(correspondence point)을 찾는 작업으로, 좌영상과 우영상에서 대응되는 화소들이 서로 얼마나 떨어져 있는지를 나타내는 변이값을 구하는 것이다. 예를 들어, 좌영상에 대한 스테레오 정합을 통해서 (x, y) 위치의 화소의 변이값이 10이면, 우영상에서 (x, y) 위치를 기준으로 우측으로 10 화소만큼 떨어진 위치(x+10, y)의 화소가 좌영상의 (x, y) 위치의 화소와 대응점이 된다.
변이 영상 생성 장치(100)는 초기 좌변이 영상과 초기 우변이 영상 각각에 대해 경계 보존 필터링과 같은 후처리 필터링을 수행하여 개선 좌변이 영상과 개선 우변이 영상을 생성한다(S120). 예를 들면, 경계 보존 필터링으로 양방향 필터링이 사용될 수 있다. 양방향 필터링은 수학식 1과 같이 나타낼 수 있다.
Figure 112015050472817-pat00001
수학식 1에서, Di는 입력 영상으로, 초기 좌변이 영상 또는 초기 우변이 영상을 나타내고, W는 가중치 인자이다. Do는 출력 영상으로, 개선 좌변이 영상 또는 개선 우변이 영상을 나타낸다. (x, y)는 중심 화소를 나타낸다. 입력 영상의 각 화소가 중심 화소로 설정된다. u와 v는 필터 커널 내부의 특정 위치를 나타내는 벡터 UP와 VP의 원소이다. 벡터 UP와 VP는 수학식 2 및 수학식 3과 같이 나타낼 수 있다.
Figure 112015050472817-pat00002
Figure 112015050472817-pat00003
여기서, 필터 커널은 중심 화소를 기준으로 일정 크기의 블록을 나타내며, r은 필터 커널의 반지름을 나타낸다. 벡터 UP와 VP는 각각 필터 커널 내부의 수평과 수직 위치를 나타낸다.
또한 가중치 인자 W는 수학식 4와 같이 정의될 수 있다.
Figure 112015050472817-pat00004
수학식 4에서, f(u,v)는 거리 차이에 따라 결정되는 공간 필터를 나타내고, g(u,v)는 필터 커널에서 중심 화소와 주변 화소와의 색상 차이에 따라 결정되는 범위 필터를 나타낸다. 이 두 함수 모두 가우시안(Gaussian) 함수를 이용하여 수학식 5 및 수학식 6과 같이 정의될 수 있다.
Figure 112015050472817-pat00005
Figure 112015050472817-pat00006
수학식 5 및 수학식 6에서,
Figure 112015050472817-pat00007
과
Figure 112015050472817-pat00008
는 각각 가우시안 함수에 대한 표준 편차를 의미하며, 이 값에 따라서 가우시안 분포의 폭이 결정된다.
이와 같이, 초기 좌변이 영상과 초기 우변이 영상 각각에 대해 각각 경계 보존 필터링을 수행하면, 색상 차이가 큰 경계 부분은 보존되고, 나머지 부분은 평탄화된 결과가 나타난다.
변이 영상 생성 장치(100)는 변이 개선 절차를 통하여 초기 좌변이 영상을 개선한다(S130). 변이 개선 절차는 초기 좌변이 영상과 초기 우변이 영상과 개선 좌변이 영상과 개선 우변이 영상을 이용하며, 변이 개선 절차에 대해서는 도 2 및 도 3을 토대로 자세하게 설명한다.
변이 영상 생성 장치(100)는 변이 개선 절차를 통하여 초기 우변이 영상을 개선한다(S140). 설명의 편의를 위해서 본 발명의 실시 예에서 초기 좌변이 영상부터 개선한 후 초기 우변이 영상을 개선하는 것으로 설명하였지만, 초기 우변이 영상부터 개선한 후 초기 좌변이 영상을 개선할 수도 있다.
변이 영상 생성 장치(100)는 변이 개선 절차를 초기 좌변이 영상과 초기 우변이 영상 각각에 대해 순차적으로 설정 횟수(N)만큼 반복할 수 있다.
즉, 변이 영상 생성 장치(100)는 좌변이 영상과 우변이 영상을 변이 개선 절차를 통해서 개선하고 나면, 변이 개선 횟수(i)를 1 증가시킨 후(S150), 변이 개선 횟수(i)를 설정 횟수(N)와 비교한다(S160). 다음, 변이 영상 생성 장치(100)는 변이 개선 횟수(i)를 설정된 횟수(N)가 될 때까지 초기 좌변이 영상과 초기 우변이 영상 각각에 대해 순차적으로 변이 개선 절차를 수행하여, 최종 좌변이 영상과 최종 우변이 영상을 생성한다(S170).
도 2는 본 발명의 실시 예에 따른 변이 개선 절차를 설명하는 흐름도이고, 도 3은 본 발명의 실시 예에 따른 좌우 일관성을 설명하는 도면이다.
먼저, 초기 좌변이 영상과 초기 우변이 영상, 그리고 개선 좌변이 영상과 개선 우변이 영상이 주어져 있다고 가정한다. 초기 좌변이 영상과 초기 우변이 영상을 통칭해서 초기 변이 영상이라 하고, 개선 좌변이 영상과 개선 우변이 영상을 통칭해서 개선 변이 영상이라 한다. 그리고 설명의 편의를 위해서 좌변이 영상을 개선하는 방법을 설명하기로 한다.
도 2를 참고하면, 변이 영상 생성 장치(100)는 초기 좌변이 영상과 초기 우변이 영상으로부터 초기 변이 영상의 변이 값에 대한 좌우 일관성(left right consistency)을 검사한다(S200). 좌우 일관성 검사는 좌우 일관성 수치를 계산하는 것으로 이루어질 수 있다.
변이 영상 생성 장치(100)는 개선 좌변이 영상과 개선 우변이 영상으로부터 개선 변이 영상의 변이 값에 대한 좌우 일관성을 검사한다(S210). 좌우 일관성 검사는 좌우 일관성 수치를 계산하는 것으로 이루어질 수 있다.
변이값은 앞에서 설명한 바와 같이, 좌영상의 한 점의 대응점을 우영상에서 x축으로 얼마나 떨어져 있는지를 값으로 나타낸 것이다. 대응점은 가려진 영역(occlusion)의 경우를 제외하고 좌영상과 우영상의 각 화소가 서로 일대일 정합이 되어야 하기 때문에 대응점에 해당하는 좌영상과 우영상의 각 화소는 서로를 가리키고 있어야 한다. 따라서 초기 좌변이 영상의 한 점의 변이값에 대한 절대값이 초기 우변이 영상에서 그 대응점의 변이값에 대한 절대값과 서로 동일해야 하며, 초기 좌변이 영상의 한 점의 변이값에 대한 절대값이 초기 우변이 영상에서 그 대응점의 변이값에 대한 절대값과 서로 동일한지 검사하는 것을 좌우 일관성 검사라고 한다.
즉, 도 3에 도시한 바와 같이, 초기 좌변이 영상(DL)의 한 점(x)의 변이값을 DL(x)라고 하면, 초기 우변이 영상(DR)의 한 점(x)으로부터 DL(x) 화소 만큼 떨어진 점이 초기 좌변이 영상(DL)의 한 점(x)에 대한 초기 우변이 영상(DR)에서의 대응점이 된다. 그리고 초기 우변이 영상(DR)의 한 점(x)으로부터 DL(x) 화소 만큼 떨어진 점[x+DL(x)]의 변이값을 DR(x')라 하면, DR(x')= DL(x)일 때 좌우 일관성이 보장되어 있는 것으로 볼 수 있다.
변이 영상 생성 장치(100)는 초기 좌변이 영상을 기준으로 수학식 7과 같이 초기 좌변이 영상과 초기 우변이 영상간 대응점의 변이값에 대한 절대값의 차이로부터 좌우 일관성 수치를 계산함으로써, 좌우 일관성 검사를 수행할 수 있다.
Figure 112015050472817-pat00009
수학식 7에서, DL(x)는 초기 좌변이 영상에서 x 위치의 화소에 대한 변이값을 나타내고, DR(x+DL(x))는 초기 우변이 영상에서 [x+DL(x)] 위치의 화소에 대한 변이값을 나타낸다.
이와 동일한 방법으로, 변이 영상 생성 장치(100)는 개선 좌변이 영상을 기준으로 수학식 8과 같이 개선 좌변이 영상과 개선 우변이 영상간 대응점의 변이값에 대한 절대값의 차이로부터 좌우 일관성 수치를 계산함으로써, 좌우 일관성 검사를 수행할 수 있다.
Figure 112015050472817-pat00010
수학식 8에서, DL'(x)는 개선 좌변이 영상에서 x 위치의 화소에 대한 변이값을 나타내고, DR'(x+ DL(x))는 개선 우변이 영상에서 [x+DL(x)] 위치의 화소에 대한 변이값을 나타낸다.
초기 좌변이 영상과 초기 우변이 영상과 같은 초기 변이 영상은 일련의 타당한 가정을 통한 정합 과정으로 계산된 예측 변이값이기 때문에 초기 변이 영상의 변이값이 이후 경계 보존 필터링 같은 후처리 필터링이 수행된 후의 변이값과 다르다고 하더라도 그 값이 무조건 틀린 값이라고 볼 수는 없다. 간혹, 초기 변이 영상에 대해 경계 보존 필터링을 수행하게 되면, 좌우 일관성이 더 어긋나는 경우가 발생할 수 있다. 따라서 초기 변이 영상의 변이값과 개선 변이 영상의 변이값 사이에 무엇을 더 신뢰할 것인지에 대한 문제가 발생한다.
변이 영상 생성 장치(100)는 수학식 9와 같이 초기 좌변이 영상의 각 화소에 대해, 초기 변이 영상의 변이값과 개선 변이 영상의 변이값 사이에 신뢰도가 높은 좌우 일관성 수치를 선택한다(S220). 신뢰도가 높다는 것은 수학식 7 및 수학식 8에서 계산된 좌우 일관성 수치로부터 판단될 수 있으며, 수학식 7 및 수학식 8에서 계산된 좌우 일관성 수치가 작을수록 신뢰도가 높다는 것을 의미한다.
Figure 112015050472817-pat00011
변이 영상 생성 장치(100)는 수학식 9를 통해서 선택된 변이값을 이용하여 각 화소에 대한 좌우 일관성 신뢰도 수치를 계산한다(S230). 좌우 일관성 신뢰도 수치 CLR(x)는 수학식 10과 같이 계산될 수 있다.
Figure 112015050472817-pat00012
수학식 10을 보면, 좌우 일관성 수치인
Figure 112015050472817-pat00013
가 일정 임계값(T)보다 큰 경우 좌우 일관성 신뢰도 수치 CLR(x)는 0이 되고,
Figure 112015050472817-pat00014
가 0인 경우는 좌우 일관성이 있다는 의미이므로, 1되고 일관성 신뢰도 수치 CLR(x)는 1이 된다. 그리고
Figure 112015050472817-pat00015
가 일정 임계값(T) 이하인 경우 일관성 신뢰도 수치 CLR(x)는 좌우 일관성 수치의 반비례가 되도록
Figure 112015050472817-pat00016
이 된다.
변이 영상 생성 장치(100)는 수학식 10을 토대로 각 화소에 대해 좌우 일관성 신뢰도 수치 CLR(x)가 계산되고 나면, 변이값을 개선할 대상 화소를 중심 화소로 설정하고(S240), 중심 화소를 기준으로 일정 크기의 블록 내 모든 화소에 대해 좌우 일관성 신뢰도 수치와 결합(joint)할 가중치를 계산한다(S250). 변이 영상 생성 장치(100)는 중심 화소의 화소값 또는 변이값을 기준으로 일정 크기의 블록 안의 주변 화소를 참조하여 상관 관계 또는 유사도를 계산하기 위해 이 블록 안의 모든 화소에 대해 비용 집적 함수를 이용하여 가중치를 계산할 수 있다. 가중치는 비용 집적 후보군 중에서 선택된 비용 집적 함수를 이용하여 계산될 수 있다.
비용 집적 후보군의 비용 집적 함수는 수학식 11 내지 수학식 16과 같다.
Figure 112015050472817-pat00017
Figure 112015050472817-pat00018
Figure 112015050472817-pat00019
Figure 112015050472817-pat00020
여기서, g(x) 및 f(x)는 수학식 5 및 수학식 6에서 도시한 바와 같다.
Figure 112015050472817-pat00021
Figure 112015050472817-pat00022
변이 영상 생성 장치(100)는 각 화소에 대해 계산된 좌우 일관성 신뢰도 수치와 계산된 가중치를 결합하여 중심 화소를 기준으로 하는 블록 내의 각 화소에 대한 최종 가중치를 계산한다(S260). 최종 가중치는 수학식 17을 통해 계산될 수 있다.
Figure 112015050472817-pat00023
수학식 17에서, W(q)는 중심 화소를 기준으로 하는 블록 내의 주변 화소(q)의 최종 가중치이고, w(q)는 주변 화소(q)에 대해 수학식 11 내지 수학식 16 중에서 하나를 통해서 구해진 가중치이며, CLR(q)는 수학식 10을 통해서 구해진 주변 화소(q)의 좌우 일관성 신뢰도 수치이다.
변이 영상 생성 장치(100)는 중심 화소를 기준으로 하는 블록 내의 각 화소에 대한 최종 가중치가 계산되면, 중심 화소를 기준으로 하는 블록 내의 각 화소에 대한 최종 가중치를 크기 순으로 정렬하고, 정렬된 최종 가중치들 중에서 가장 적합한 최종 가중치를 선택한다(S270).
예를 들면, 변이 영상 생성 장치(100)는 경우에 따라서 정렬된 최종 가중치들 중에서 가중치 중앙값(median value)을 선택할 수도 있고, 경우에 따라서 정렬된 최종 가중치들 중에서 최대 값을 선택하거나 최소 값을 선택할 수도 있다.
변이 영상 생성 장치(100)는 가장 적합한 최종 가중치로 선택된 화소의 변이값을 중심 화소의 변이값으로 결정하고(S280), 중심 화소의 변이값을 가장 적합한 최종 가중치로 선택된 화소의 변이값으로 변경한다(S290). 중심 화소의 변이값 변경 방법은 수학식 18과 같이 나타낼 수 있다.
Figure 112015050472817-pat00024
수학식 18에서, d는 변이값이고, d(p)는 중심 화소(p)의 변이값을 나타낸다. W(q1), W(q2), …, W(qn)이 중심 화소를 기준으로 하는 블록 내의 각 화소에 대한 최종 가중치를 나타낸다. 그리고 f()는 블록 내의 각 화소에 대한 최종 가중치 중에서 가장 적합한 최종 가중치를 선택하기 위해 적용되는 함수를 나타낸다. 예를 들어, 앞에서 설명한 바와 같이, f()는 블록 내의 각 화소에 대한 최종 가중치 중에서 중앙값을 선택하는 함수일 수도 있고, 블록 내의 각 화소에 대한 최종 가중치 중에서 최대 값이나 최소값이 선택하는 함수일 수도 있다.
이와 같이, 변이 영상 생성 장치(100)는 중심 화소에 대한 변이 값을 구하기 위해, 중심 화소를 기준으로 하는 소정 크기의 블록 내의 각 화소의 좌우 일관성 신뢰도 수치를 고려하여 각 화소에 대한 최종 가중치들이 계산되고, 블록 내의 각 화소에 대한 최종 가중치들 중에서 가장 적합한 최종 가중치로 선택된 화소의 변이 값을 중심 화소에 대한 변이 값으로 결정된다.
변이 영상 생성 장치(100)는 초기 좌변이 영상의 다른 화소를 중심 화소로 설정하면서 단계(S250~280)를 수행하여 중심 화소의 변이값을 결정함으로써, 초기 좌변이 영상의 모든 화소의 변이값을 개선한다.
초기 우변이 영상의 개선 또한 도 2에서 설명한 방법을 통해서 이루어지며, 이 초기 우변이 영상이 기준이 된다.
또한 변이 영상 생성 장치(100)는 초기 좌변이 영상의 변이값을 개선한 후, 개선된 초기 좌변이 영상의 변이값을 토대로 단계(S230~S290)를 반복함으로써, 변이 개선 절차를 추가적으로 수행할 수 있다. 즉 초기의 경우, 초기 좌변이 영상과 개선 좌변이 영상이 존재하기 때문에, 둘 중에서 하나를 선택하기 위해 단계(S210~220)가 수행되고, 변이 개선 절차를 1회 수행하고 나면 변이값이 개선된 하나의 좌변이 영상이 생성되므로, 이후의 변이 개선 절차에서는 단계(S210~220)를 수행할 필요가 없다.
도 4는 본 발명의 실시 예에 따른 중심 화소를 기준으로 하는 블록을 나타낸 도면이다.
도 4를 참고하면, 초기 좌변이 영상(DL)의 화소(p)의 변이값[DL(p)]을 개선하고자 하는 경우, 화소(p)가 중심 화소(p)로 설정되고, 중심 화소(p)를 중심으로 가지는 소정 크기의 블록이 설정된다. 블록은 직사각형이나 정사각형과 같이 정형 구조일 수도 있고, 비대칭 또는 비정형 구조일 수도 있으며, 블록의 형태는 특별히 한정되지 않는다.
그리고 개선 좌변이 영상(DL')에서도 동일한 위치의 화소(p)에 대해서도 중심 화소(p)를 중심으로 가지는 소정 크기의 블록이 설정된다.
초기 좌변이 영상(DL)과 개선 좌변이 영상(DL') 각각의 블록 내 화소(q1, q2, …, p, …, qn)에 대해서 도 2에서 설명한 바와 같이 비용 집적 함수를 이용하여 가중치가 계산될 수 있다.
도 5는 본 발명의 실시 예에 따른 변이 영상 생성 장치를 나타낸 도면이고, 도 6은 도 5에 도시된 변이 개선부를 나타낸 도면이다.
도 5를 참고하면, 변이 영상 생성 장치(100)는 스테레오 정합부(110), 경계 보존 필터링부(120) 및 변이 개선부(130)를 포함한다.
스테레오 정합부(110)는 스테레오 영상의 좌 영상과 우 영상 각각에 대해 스테레오 정합을 수행하여 초기 좌변이 영상과 초기 우변이 영상을 생성한다. 이러한 스테레오 정합은 블록 기반 정합, 화소 기반 정합, 특징 기반 정합 등의 다양한 방식이 있다. 예를 들어, 화소 기반 정합은 기준 영상 내의 모든 화소 각각에 대해, 비교 영상에서 이에 해당되는 대응점을 찾는 작업이다. 블록 기반 정합은 영상을 고정 크기의 블록으로 나누고, 각 블록에 대해 비교 영상에서 이에 해당되는 대응점을 찾는 작업이다.
경계 보존 필터링부(120)는 스테레오 정합부(110)를 통해 생성된 초기 좌변이 영상과 초기 우변이 영상 각각에 대해 경계 보존 필터링을 수행하여 개선 좌변이 영상과 개선 우 변이 영상을 생성한다. 경계 보존 필터링 방식으로는 양방향 필터링을 포함한 다양한 방식이 사용될 수 있다.
변이 개선부(130)는 초기 좌변이 영상과 초기 우변이 영상과 개선 좌변이 영상과 개선 우변이 영상을 이용한 변이 개선 절차를 좌변이 영상과 우변이 영상 각각에 대해 수행한다. 이러한 변이 개선부(130)는 좌우 일관성 검사부(131), 좌우 일관성 수치 선택부(132), 좌우 일관성 신뢰도 계산부(133), 가중치 계산부(134), 가중치 선택부(135) 및 변이값 결정부(136)를 포함한다.
좌우 일관성 검사부(131)는 수학식 7과 같이 초기 좌변이 영상과 초기 우변이 영상으로부터 대응점의 두 화소의 변이 값에 대한 좌우 일관성(left right consistency) 수치를 계산한다. 또한 좌우 일관성 검사부(131)는 수학식 8과 같이 개선 좌변이 영상과 개선 우변이 영상으로부터 대응점의 두 화소의 변이값에 대한 좌우 일관성 수치를 계산한다.
좌우 일관성 수치 선택부(132)는 수학식 9와 같이 각 화소에 대해 초기 변이 영상의 변이값과 개선 변이 영상의 변이값 사이에 신뢰도가 높은 좌우 일관성 수치를 선택한다.
좌우 일관성 신뢰도 계산부(133)는 수학식 9를 통해서 선택된 좌우 일관성 수치를 이용하여 수학식 10과 같이 각 화소에서의 좌우 일관성 신뢰도 수치를 계산한다.
가중치 계산부(134)는 각 화소에 대해 계산된 좌우 일관성 신뢰도 수치와 결합(joint)할 각 화소의 가중치를 계산한다. 가중치 계산부(134)는 중심 화소의 화소값 또는 변이값을 기준으로 일정 크기의 블록 안의 주변 화소를 참조하여 상관 관계 또는 유사도를 계산하기 위해 이 블록 안의 모든 화소에 대해 비용 집적 함수를 이용하여 가중치를 계산할 수 있다.
가중치 계산부(134)는 각 화소에 대해 각각 계산된 좌우 일관성 신뢰도 수치와 계산된 가중치를 결합하여 수학식 17과 같이 중심 화소를 기준으로 하는 블록 내의 각 화소에 대한 최종 가중치를 계산한다.
가중치 선택부(135)는 중심 화소를 기준으로 하는 블록 내의 각 화소에 대한 최종 가중치를 크기 순으로 정렬하고, 정렬된 최종 가중치들 중에서 가장 적합한 최종 가중치를 선택한다.
변이값 결정부(136)는 가장 적합한 가중치로 선택된 화소의 변이값을 중심 화소의 변이값으로 결정하고, 수학식 18과 같이 중심 화소의 변이값을 가장 적합한 가중치로 선택된 화소의 변이값으로 변경한다.
이상에서 설명한 본 발명의 실시 예에 따른 변이 영상 생성 방법 및 장치의 적어도 일부 기능은 하드웨어로 구현되거나 하드웨어에 결합된 소프트웨어로 구현될 수 있다. 예를 들면, 중앙 처리 유닛(central processing unit, CPU)이나 기타 칩셋, 마이크로프로세서 등으로 구현되는 프로세서가 스테레오 정합부(110), 경계 보존 필터링부(120) 및 변이 개선부(130)의 기능을 수행할 수 있다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술 분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.

Claims (20)

  1. 변이 영상 생성 장치에서 변이 영상을 생성하는 방법으로서,
    스테레오 영상의 제1 영상과 제2 영상 각각에 대해 스테레오 정합을 수행하여 제1 초기 변이 영상과 제2 초기 변이 영상을 생성하는 단계,
    상기 제1 초기 변이 영상과 상기 제2 초기 변이 영상을 각각 경계 보존 필터링하여 제1 개선 변이 영상과 제2 개선 변이 영상을 생성하는 단계,
    상기 제1 초기 변이 영상의 각 화소의 변이값에 대한 신뢰도 인자와 상기 제1 개선 변이 영상의 각 화소의 변이값에 대한 신뢰도 인자를 비교하여, 상기 제1 초기 변이 영상의 각 화소의 변이값을 개선하는 단계, 그리고
    상기 제2 초기 변이 영상의 각 화소의 변이값에 대한 신뢰도 인자와 상기 제2 개선 변이 영상의 각 화소의 변이값에 대한 신뢰도 인자를 비교하여, 상기 제2 초기 변이 영상의 각 화소의 변이값을 개선하는 단계
    를 포함하는 변이 영상 생성 방법.
  2. 제1항에서,
    상기 제1 초기 변이 영상의 각 화소의 변이값을 개선하는 단계는
    상기 제1 초기 변이 영상과 상기 제2 초기 변이 영상간 각 대응점의 변이값에 대한 제1 좌우 일관성 수치를 계산하는 단계,
    상기 제1 개선 변이 영상과 상기 제2 개선 변이 영상간 각 대응점의 변이값에 대한 제2 좌우 일관성 수치를 계산하는 단계,
    상기 제1 초기 변이 영상의 상기 각 대응점에 해당하는 각 화소에 대해, 대응하는 상기 제1 좌우 일관성 수치와 대응하는 상기 제2 좌우 일관성 수치 중에서 신뢰도가 높은 좌우 일관성 수치를 선택하는 단계, 그리고
    상기 제1 초기 변이 영상의 상기 각 대응점에 해당하는 각 화소에 대해, 상기 선택된 좌우 일관성 수치를 이용하여 상기 제1 초기 변이 영상의 각 화소의 변이값을 결정하는 단계를 포함하는 변이 영상 생성 방법.
  3. 제2항에서,
    상기 제1 초기 변이 영상의 각 화소의 변이값을 결정하는 단계는
    상기 제1 초기 변이 영상의 상기 각 화소에 대해, 선택된 좌우 일관성 수치를 토대로 상기 각 화소의 좌우 일관성 신뢰도 수치를 계산하는 단계,
    상기 제1 초기 변이 영상의 상기 각 화소를 순차적으로 중심 화소로 설정하는 단계,
    상기 중심 화소를 중심으로 하는 설정 크기의 블록 내 각 주변 화소와 상기 중심 화소간 상관 관계를 나타내는 가중치값을 계산하는 단계, 그리고
    상기 블록 내 주변 화소의 가중치값과 상기 주변 화소의 좌우 일관성 신뢰도 수치를 이용하여 상기 중심 화소의 변이값을 결정하는 단계를 포함하는 변이 영상 생성 방법.
  4. 제3항에서,
    상기 중심 화소의 변이값을 결정하는 단계는
    상기 블록 내 주변 화소의 가중치값과 상기 주변 화소의 좌우 일관성 신뢰도 수치를 결합하여 상기 각 주변 화소의 최종 가중치를 계산하는 단계,
    상기 블록 내 각 주변 화소의 최종 가중치 중에서 하나의 최종 가중치를 선택하는 단계, 그리고
    상기 중심 화소의 변이값을 상기 하나의 최종 가중치로 선택된 주변 화소의 변이값으로 변경하는 단계를 포함하는 변이 영상 생성 방법.
  5. 제3항에서,
    상기 가중치값을 계산하는 단계는 상기 제1 초기 변이 영상에서의 상기 각 주변 화소의 변이값을 상기 각 주변 화소의 가중치값으로 계산하는 단계를 포함하는 변이 영상 생성 방법.
  6. 제3항에서,
    상기 가중치값을 계산하는 단계는 상기 제1 초기 변이 영상에서의 상기 각 주변 화소의 변이값과 상기 제1 개선 변이 영상에서 대응하는 각 주변 화소의 변이값을 이용하여 상기 각 주변 화소의 가중치값으로 계산하는 단계를 포함하는 변이 영상 생성 방법.
  7. 제3항에서,
    상기 가중치값을 계산하는 단계는 상기 각 주변 화소와 상기 중심 화소간 거리와 색상 값을 이용하여 상기 각 주변 화소의 가중치값을 계산하는 단계를 포함하는 변이 영상 생성 방법.
  8. 제3항에서,
    상기 가중치값을 계산하는 단계는 지역적 스테레오 정합에 사용되는 비용집적 함수를 이용하여 상기 각 주변 화소의 가중치값을 계산하는 단계를 포함하는 변이 영상 생성 방법.
  9. 제3항에서,
    상기 각 화소의 좌우 일관성 신뢰도 수치를 계산하는 단계는
    상기 선택된 좌우 일관성 수치가 0인 경우 상기 좌우 일관성 신뢰도 수치를 1로 계산하는 단계,
    상기 선택된 좌우 일관성 수치가 임계값보다 큰 경우 상기 좌우 일관성 신뢰도 수치를 0으로 계산하는 단계, 그리고
    상기 선택된 좌우 일관성 수치가 상기 임계값 이하인 경우 상기 좌우 일관성 신뢰도 수치를 '1/상기 선택된 좌우 일관성 수치'의 값으로 계산하는 단계를 포함하는 변이 영상 생성 방법.
  10. 제2항에서,
    상기 제1 좌우 일관성 수치를 계산하는 단계는 상기 제1 초기 변이 영상과 상기 제2 초기 변이 영상간 각 대응점의 변이값에 대한 절대값의 차이로부터 상기 제1 좌우 일관성 수치를 계산하는 단계를 포함하고,
    상기 제2 좌우 일관성 수치를 계산하는 단계는 상기 제1 개선 변이 영상과 상기 제2 개선 변이 영상간 각 대응점의 변이값에 대한 절대값의 차이로부터 상기 제2 좌우 일관성 수치를 계산하는 단계를 포함하는 변이 영상 생성 방법.
  11. 제10항에서,
    상기 선택하는 단계는 상기 제1 좌우 일관성 수치와 대응하는 상기 제2 좌우 일관성 수치 중에서 더 작은 값을 상기 신뢰도가 높은 좌우 일관성 수치로 판단하는 단계를 포함하는 변이 영상 생성 방법.
  12. 제1항에서,
    상기 제1 영상과 제2 영상 중 하나는 좌 영상이고, 나머지 하나는 우 영상인 변이 영상 생성 방법.
  13. 스테레오 영상으로부터 변이 영상을 생성하는 장치로서,
    상기 스테레오 영상의 제1 영상과 제2 영상 각각에 대해 스테레오 정합을 수행하여 제1 초기 변이 영상과 제2 초기 변이 영상을 생성하는 스테레오 정합부,
    상기 제 초기 변이 영상과 상기 제2 초기 변이 영상 각각에 대해 경계 보존 필터링을 수행하여 제1 개선 변이 영상과 제2 개선 변이 영상을 생성하는 경계 보존 필터링부, 그리고
    상기 제1 초기 변이 영상과 상기 제2 초기 변이 영상간 각 대응점의 두 화소의 변이값에 대한 제1 좌우 일관성 검사를 수행하고, 상기 제1 개선 변이 영상과 상기 제2 개선 변이 영상간 각 대응점의 두 화소의 변이값에 대한 제2 좌우 일관성 검사를 수행하며, 개선할 화소를 중심으로 하는 설정 크기의 블록 내 각 주변 화소와 상기 개선할 화소간 상관 관계를 나타내는 상기 각 주변 화소의 가중치값을 계산하고, 상기 제1 및 제2 좌우 일관성 검사의 결과를 비교하고 상기 각 주변 화소의 가중치값을 이용하여 각 화소의 변이값을 개선하는 변이 개선부
    를 포함하는 변이 영상 생성 장치.
  14. 제13항에서,
    상기 변이 개선부는
    상기 좌우 일관성 검사를 통해서 상기 제1 초기 변이 영상과 상기 제2 초기 변이 영상간 각 대응점의 변이값에 대한 제1 좌우 일관성 수치와 제1 개선 변이 영상과 상기 제2 개선 변이 영상간 각 대응점의 변이값에 대한 제2 좌우 일관성 수치를 계산하는 좌우 일관성 검사부, 그리고
    상기 제1 초기 변이 영상의 상기 각 대응점에 해당하는 각 화소에 대해, 대응하는 상기 제1 좌우 일관성 수치와 대응하는 상기 제2 좌우 일관성 수치 중에서 신뢰도가 높은 좌우 일관성 수치와 해당하는 각 주변 화소의 가중치값을 이용하여 상기 제1 초기 변이 영상의 각 화소의 변이값을 결정하는 변이값 결정부를 포함하는 변이 영상 생성 장치.
  15. 제14항에서,
    상기 변이 개선부는
    상기 각 화소에 대해, 상기 신뢰도가 높은 좌우 일관성 수치를 이용하여 좌우 일관성 신뢰도 수치를 계산하는 좌우 일관성 신뢰도 계산부, 그리고
    상기 각 화소에 대해, 해당하는 각 주변 화소의 가중치값과 상기 좌우 일관성 신뢰도 수치를 결합하여 대응하는 블록 내 각 주변 화소의 최종 가중치를 계산하는 가중치 계산부를 더 포함하고,
    상기 변이값 결정부는 상기 각 화소에 대해, 상기 대응하는 블록 내 각 주변 화소의 최종 가중치들 중에서 선택된 하나의 최종 가중치를 가지는 화소의 변이값을 상기 각 화소의 변이값으로 결정하는 변이 영상 생성 장치.
  16. 제15항에서,
    상기 좌우 일관성 신뢰도 계산부는 상기 신뢰도가 높은 좌우 일관성 수치가 0인 경우 상기 좌우 일관성 신뢰도 수치를 1로 계산하고, 상기 신뢰도가 높은 좌우 일관성 수치가 임계값보다 큰 경우 상기 좌우 일관성 신뢰도 수치를 0으로 계산하며, 상기 신뢰도가 높은 좌우 일관성 수치가 상기 임계값 이하인 경우 상기 좌우 일관성 신뢰도 수치를 '1/상기 선택된 좌우 일관성 수치'의 값으로 계산하는 변이 영상 생성 장치.
  17. 제14항에서,
    상기 변이 개선부는 상기 제1 초기 변이 영상의 상기 각 대응점에 해당하는 각 화소에 대해, 대응하는 상기 제1 좌우 일관성 수치와 대응하는 상기 제2 좌우 일관성 수치 중에서 더 작은 값을 상기 신뢰도가 높은 좌우 일관성 수치로 판단하는 좌우 일관성 수치 선택부를 더 포함하고,
    상기 좌우 일관성 검사부는 대응하는 각 대응점의 변이값에 대한 절대값의 차이로부터 상기 제1 좌우 일관성 수치와 상기 제2 좌우 일관성 수치를 계산하는 변이 영상 생성 장치.
  18. 스테레오 영상으로부터 변이 영상을 생성하는 장치로서,
    상기 스테레오 영상의 제1 영상과 제2 영상 각각에 대해 스테레오 정합을 수행하여 제1 초기 변이 영상과 제2 초기 변이 영상을 생성하는 스테레오 정합부,
    상기 제 초기 변이 영상과 상기 제2 초기 변이 영상 각각에 대해 경계 보존 필터링을 수행하여 제1 개선 변이 영상과 제2 개선 변이 영상을 생성하는 경계 보존 필터링부, 그리고
    상기 제1 초기 변이 영상과 상기 제2 초기 변이 영상간 각 대응점의 두 화소의 변이값에 대한 좌우 일관성 검사를 수행하고, 상기 제1 개선 변이 영상과 상기 제2 개선 변이 영상간 각 대응점의 두 화소의 변이값에 대한 좌우 일관성 검사를 수행하며, 개선할 화소를 중심으로 하는 설정 크기의 블록 내 각 주변 화소와 상기 개선할 화소간 상관 관계를 나타내는 상기 각 주변 화소의 가중치값을 계산하고, 상기 제1 초기 변이 영상과 상기 제2 초기 변이 영상 각각에서 상기 좌우 일관성 검사와 상기 각 주변 화소의 가중치값을 이용하여 각 화소의 변이값을 개선하는 변이 개선부
    를 포함하고,
    상기 변이 개선부는 상기 제1 초기 변이 영상에서의 상기 각 주변 화소의 변이값을 상기 각 주변 화소의 가중치값으로 계산하거나, 상기 제1 초기 변이 영상에서의 상기 각 주변 화소의 변이값과 상기 제1 개선 변이 영상에서 대응하는 각 주변 화소의 변이값을 이용하여 상기 각 주변 화소의 가중치값으로 계산하는 변이 영상 생성 장치.
  19. 스테레오 영상으로부터 변이 영상을 생성하는 장치로서,
    상기 스테레오 영상의 제1 영상과 제2 영상 각각에 대해 스테레오 정합을 수행하여 제1 초기 변이 영상과 제2 초기 변이 영상을 생성하는 스테레오 정합부,
    상기 제 초기 변이 영상과 상기 제2 초기 변이 영상 각각에 대해 경계 보존 필터링을 수행하여 제1 개선 변이 영상과 제2 개선 변이 영상을 생성하는 경계 보존 필터링부, 그리고
    상기 제1 초기 변이 영상과 상기 제2 초기 변이 영상간 각 대응점의 두 화소의 변이값에 대한 좌우 일관성 검사를 수행하고, 상기 제1 개선 변이 영상과 상기 제2 개선 변이 영상간 각 대응점의 두 화소의 변이값에 대한 좌우 일관성 검사를 수행하며, 개선할 화소를 중심으로 하는 설정 크기의 블록 내 각 주변 화소와 상기 개선할 화소간 상관 관계를 나타내는 상기 각 주변 화소의 가중치값을 계산하고, 상기 제1 초기 변이 영상과 상기 제2 초기 변이 영상 각각에서 상기 좌우 일관성 검사와 상기 각 주변 화소의 가중치값을 이용하여 각 화소의 변이값을 개선하는 변이 개선부
    를 포함하고,
    상기 변이 개선부는 상기 각 주변 화소와 상기 개선할 화소간 거리와 색상 값을 이용하여 상기 각 주변 화소의 가중치값을 계산하거나, 지역적 스테레오 정합에 사용되는 비용집적 함수를 이용하여 상기 각 주변 화소의 가중치값을 계산하는 변이 영상 생성 장치.
  20. 제14항에서,
    상기 변이값 결정부는 상기 제2 초기 변이 영상의 상기 각 대응점에 해당하는 각 화소에 대해, 대응하는 상기 제1 좌우 일관성 수치와 대응하는 상기 제2 좌우 일관성 수치 중에서 신뢰도가 높은 좌우 일관성 수치와 해당하는 각 주변 화소의 가중치값을 이용하여 상기 제2 초기 변이 영상의 각 화소의 변이값을 결정하는 변이 영상 생성 장치.
KR1020150073252A 2015-05-26 2015-05-26 변이 영상 생성 방법 및 장치 KR102324605B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150073252A KR102324605B1 (ko) 2015-05-26 2015-05-26 변이 영상 생성 방법 및 장치
CN201610357234.0A CN106210691B (zh) 2015-05-26 2016-05-26 用于生成视差图像的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150073252A KR102324605B1 (ko) 2015-05-26 2015-05-26 변이 영상 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160138847A KR20160138847A (ko) 2016-12-06
KR102324605B1 true KR102324605B1 (ko) 2021-11-10

Family

ID=57453249

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150073252A KR102324605B1 (ko) 2015-05-26 2015-05-26 변이 영상 생성 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102324605B1 (ko)
CN (1) CN106210691B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999562B2 (en) * 2017-03-27 2021-05-04 Sony Corporation Image processing device, image processing method and imaging device capable of performing parallax compensation for captured color image
US10839541B2 (en) * 2018-03-14 2020-11-17 Google Llc Hierarchical disparity hypothesis generation with slanted support windows

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5387856B2 (ja) * 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
CN102074014B (zh) * 2011-02-23 2012-12-12 山东大学 一种利用基于图论的图像分割算法的立体匹配方法
CN103366354B (zh) * 2012-03-27 2016-09-07 富士通株式会社 用于立体匹配的方法和系统
KR101929042B1 (ko) * 2012-10-30 2018-12-14 엘지디스플레이 주식회사 디스패러티 산출부와 이를 포함한 입체영상 표시장치, 및 디스패러티 산출방법
KR101953315B1 (ko) * 2012-12-07 2019-02-28 엘지디스플레이 주식회사 디스패러티 산출방법과 이를 이용한 입체영상 표시장치
KR20140099098A (ko) * 2013-02-01 2014-08-11 한국전자통신연구원 능동 스테레오 매칭 방법 및 그 장치
JP6121776B2 (ja) * 2013-03-29 2017-04-26 ソニー株式会社 画像処理装置及び画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
비특허 1*

Also Published As

Publication number Publication date
CN106210691B (zh) 2018-05-08
CN106210691A (zh) 2016-12-07
KR20160138847A (ko) 2016-12-06

Similar Documents

Publication Publication Date Title
KR102137264B1 (ko) 카메라 포즈 추정 장치 및 방법
US10116917B2 (en) Image processing apparatus, image processing method, and storage medium
CN111369660B (zh) 一种三维模型的无接缝纹理映射方法
WO2007052191A2 (en) Filling in depth results
CN104915927B (zh) 视差图像优化方法及装置
US9406140B2 (en) Method and apparatus for generating depth information
JP2005037378A (ja) 奥行計測方法と奥行計測装置
US9158994B2 (en) Apparatus and method for real-time capable disparity estimation for virtual view rendering suitable for multi-threaded execution
CN102447917A (zh) 立体图像匹配方法及其设备
WO2013035457A1 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
KR102324605B1 (ko) 변이 영상 생성 방법 및 장치
CN107403448B (zh) 代价函数生成方法和代价函数生成装置
Srikakulapu et al. Depth estimation from single image using defocus and texture cues
KR101889952B1 (ko) 신뢰도 기반의 스테레오 매칭 방법 및 장치
KR101888969B1 (ko) 영상특성을 이용한 스테레오 매칭장치
KR101507992B1 (ko) 시차맵 생성 방법 및 장치
KR101968406B1 (ko) 강인한 라이트필드 깊이 영상 추정 방법 및 장치
KR101775272B1 (ko) 멀티 애퍼처 카메라에서 스파스 깊이 이미지들의 깊이 개선 방법 및 시스템
JP6668740B2 (ja) 道路面推定装置
KR102240570B1 (ko) 신장 트리 생성 방법 및 장치，스테레오 매칭 방법 및 장치，업 샘플링 방법 및 장치，및 기준 픽셀 생성 방법 및 장치
Lin et al. An effective spatial-temporal denoising approach for depth images
Koo et al. Robust stereo matching algorithm for advanced driver assistance system
Akyazi et al. Graph-based inpainting of disocclusion holes for zooming in 3d scenes
Hamzah et al. Gradient Magnitude Differences and Guided Filter for Stereo Video Matching Algorithm
US9721151B2 (en) Method and apparatus for detecting interfacing region in depth image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant