KR20030005276A - 입체 이미지들로부터 추출된 대상물 경계들을 향상시키는방법 및 장치 - Google Patents

입체 이미지들로부터 추출된 대상물 경계들을 향상시키는방법 및 장치 Download PDF

Info

Publication number
KR20030005276A
KR20030005276A KR1020027013663A KR20027013663A KR20030005276A KR 20030005276 A KR20030005276 A KR 20030005276A KR 1020027013663 A KR1020027013663 A KR 1020027013663A KR 20027013663 A KR20027013663 A KR 20027013663A KR 20030005276 A KR20030005276 A KR 20030005276A
Authority
KR
South Korea
Prior art keywords
pixel
measurement
entity
image
matched
Prior art date
Application number
KR1020027013663A
Other languages
English (en)
Inventor
브로드스카이토마스
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20030005276A publication Critical patent/KR20030005276A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

입체 이미지들에서 추출된 컴퓨터에 의해 결정된 장면 대상물들의 대상물 경계들을 정제하기 위한 방법 및 장치가 기재되어 있다. 기재된 방법에서, 대상물 경계들의 정제는 장면 대상물들을 만드는데 사용되는 픽셀 결합들을 변경함으로써 수행된다. 이 방법에서, 한 이미지내의 각 픽셀은 제 2 이미지에서 대안적인 픽셀들로 재결합되며 새로운 불일치 측정은 재매치된 픽셀 결합들의 각각에 대해 결정된다. 새로운 불일치 측정이 동적으로 특정된 경계들에 있을 때 재매치된 픽셀 결합은 유지되며 따라서 이전의 매치된 픽셀 결합이 대체된다. 새로운 불일치 측정이 특정 경계들 밖에 있을 때 이전의 재매치된 결합이 유지된다. 입체 이미지들간의 픽셀들을 재매치함으로써 픽셀 결합들을 변경하는 프로세스는 결합된 이미지의 각 픽셀에 대해 계속된다.

Description

입체 이미지들로부터 추출된 대상물 경계들을 향상시키는 방법 및 장치{Method and apparatus for improving object boundaries extracted from stereoscopic images}
컴퓨터 비전 기술은 컴퓨터가 장면의 이미지들을 지각하도록 하기 위해서 꽤 많이 개발되고 있다. 장면의 이미지들 또는 이미지를 인식하고 지각하기 위한 컴퓨터들의 능력은 데이터를 입력하는 부가적인 수단을 컴퓨터에 제공하기 위해서 중요하다. 그러므로, 컴퓨터에는 장면이 제공될 수 있으며, 장면에서 이미지들 또는 대상물들은 나중에 강화, 필터링, 컬러링 등을 위해 기록될 수 있다. 컴퓨터 비전 기술의 한 양태는 이미지에서 대상물들의 깊이에 대한 결정이다. 대상물들의 깊이에 대한 결정은 각 대상물 경계들을 결정하는 것을 돕는다. 깊이 지각을 달성하기 위한 한 기술은 입체 기술을 사용하여, 즉 2개의 카메라들을 사용하여 이미지를 기록하는 것이다. 그 다음 동시에 관찰된 이미지들은 이미지내의 대상물들의 상대적인 위치들을 결정하기 위해 처리된다. 전형적으로, 이미지들간의 대상물들을 매칭하는 결정은 한 이미지내의, 예를 들어 매트릭스 9×9 픽셀들과 같은, 공지된 크기의 픽셀들의 그룹을 제 2 이미지내의 픽셀들의 유사한 그룹과 비교함으로써 실행된다. 그 경우들에서, 이미지 대상물들이 충분히 떨어져 있을 때, 즉 매칭 해상도(resolution) 기준들보다 더 높을 때, 대상물 경계들은 전형적으로 명확하게 표기된다. 대상물들이 함께 보다 가까이 놓이거나 또는 대상물들간의 질감적인 차의 결여가 존재할 때, 대상물 경계들의 결정은 보다 더 어렵게 된다. 대상물 경계들에 대한 결정을 향상시키는 방법들은 기술상 공지되어 있다. 예를 들어, 스탠포드 알고리즘으로서 본 명세서에 참조된, "Depth Discontinuities by Pixel-to-Pixel Stereo", S. Birchfed, C. Tomasi, 컴퓨터 비전35(3)의 국제적인 저널, p. 1-25, 1999에 기재되어 있는 바와 같이, 점대점 매칭을 사용하는 방법들은 윤곽이 뚜렷한(sharp) 경계들을 생성한다. 그러나, 이 방법들은 때때로 정확하게 경계 위치를 결정하지 못하며 상당히 이동된 경계들을 생성한다. 그러므로, 질감(texture)의 결여가 대상물 경계들을 흐릿하게 하는 영역들에서 프로세싱 시간을 증가시키지 않고, 대상물 경계 결정을 향상시키기 것이 필요하다.
본 발명은 컴퓨터 비전(computer-vision) 기술에 관한 것이다. 보다 구체적으로, 본 발명은 이미지내의 지각된 대상물 경계들에 대한 결정을 향상시키는 것에 관한 것이다.
도 1a 및 도 1b는 입체 카메라 시스템을 사용하여 관찰된 2개의 이미지들을 도시한 도면.
도 2는 도 1a 및 도 1b에 도시된 2개의 이미지들의 지각된 불일치(disparity) 이미지를 도시한 도면.
도 3은 도 2에 도시된 지각된 컴퓨터의 일예의 프로세싱을 도시한 도면.
도 4a는 2개의 이미지들간의 픽셀들의 예시적인 정확한 매칭을 도시한 도면.
도 4b는 정확하게 매치된 도 4a에 도시된 픽셀들의 예시적인 상이점 측정을 도시한 도면.
도 5a는 2개의 이미지들간의 픽셀들의 예시적인 미스매칭을 도시한 도면.
도 5b는 미스매치된 도 5a에 도시된 픽셀들의 예시적인 측정을 도시한 도면.
도 5c는 2개의 이미지들간의 픽셀의 제 2의 예시적인 미스매칭을 도시한 도면.
도 5d는 미스매치된 도 5c에 도시된 픽셀들의 예시적인 측정을 도시한 도면.
도 6a는 본 발명의 원리들에 따라 2개의 예기된(prospective) 이미지들간의 픽셀들의 예시적인 재매칭을 도시한 도면.
도 6b는 본 발명의 원리들에 따라 재매치된 도 6a에 도시된 픽셀들의 예시적인 측정을 도시한 도면.
도 7a는 본 발명의 원리들에 따라 예시적인 프로세싱을 도시한 흐름도.
도 7b는 본 발명의 원리들에 따라 예시적인 프로세싱을 도시한 제 2 흐름도.
도 8은 본 발명의 원리들에 따라 처리된 도 2의 예시적인 컴퓨터 이미지를 도시한 도면.
본 발명은 경계 이미지들을 정제하기 위해 결정된 픽셀 이미지 데이터를 재처리함으로써 동일한 장면의 입체 이미지들내의 대상물 경계들을 정제하는 방법을 제공한다. 즉, 통상적인 프로세싱 기술들을 사용하여, 2개의 입체 이미지들은 그 결과로 생긴 단일의 이미지로 처리되며, 이는 2개의 이미지들간의 대응하는 픽셀들을 매칭하는 단계와 2개의 이미지들내의 동일한 대상물의 위치에서 불일치 차의 측정을 결정하는 단계를 포함한다. 그 다음, 상기 방법은 상기 결과로 생긴 이미지내의 각 픽셀을, 한번에 한 픽셀씩 선택하고 제 1 이미지내의 대응하는 픽셀이 제 2 이미지내의 상이한 픽셀에 재매치되도록 하기 위해 재매치를 결정함으로써, 상기 결과로 생긴 이미지를 재처리한다. 그 다음 재매치된 픽셀 결합에 대한 제 2 상이점 측정이 결정되고 재매치된 픽셀 결합은 제 2 상이점 측정이 제 1 측정과 실질적으로 상이하지 않는 동안 유지된다. 제 2 측정이 결정된 값에 대한 공지된 경계들 내에 있을 때 제 2 상이점 측정은 제 1 측정과 실질적으로 상이하지 않다.
이 도면들은 단지 본 발명의 개념들을 도시하기 위한 것이며, 본 발명을 한정하기 위한 것이 아님을 알아야 할 것이다. 적절한 곳에 참조 문자들로 보충될 수 있는 동일한 참조 번호들은 전부 대응하는 부분들을 식별하기 위해 사용되었음이 인식되어질 것이다.
대상물 경계들에서 컴퓨터 이미지 표시내의 정확한 픽셀 미스매치들을 포함하는, 본 발명의 새로운 특징들을 이해하고 인식하기 위해서, 우선 통상적인 이미지 경계 인식 프로세스들 및 그것들과 연관된 문제점들에 대해 논의할 필요가 있다. 도 1a 및 도 1b는 통상적인 입체 이미지들을 도시하고 있다. 도 2는 도 1a 및 도 1b에 포함된 이미지들의 픽셀 요소들을 매칭함으로써 생성된 불일치 이미지를 도시하고 있다. 도 3은 통상적인 이미지 프로세싱 기술들에 따라 대상물 경계들의 제 1 레벨 정제(refinement)를 도시하고 있다. 도 4a는 이상적이고 바람직한 이미지 경계 해결책을 도시한다. 도 5a 및 5c는 대상물 경계들에서 예시적인 픽셀 미스매치들을 도시한다. 도 6a는 본 발명의 원리들에 따라 픽셀 미스매치의 정확성을 도시한다. 그리고 도 7은 본 발명의 원리들에 따라 예시적인 프로세싱의 흐름도를 도시한다.
도 1a 및 도 1b는 좌측 카메라 및 우측 카메라에 의해 관찰된 예시적인 장면을 각각 도시한다. 이 예에서, 2개의 사진들(views)은 사람(100), 의자의 팔걸이(102), 카트(104), 블록(106), 스탠드(108), 표지(110), 게시판(112), 의자(114) 등과 같은 대상물들을 포함한다. 공지된 바와 같이, 입체 장면을 관찰하다보면 이미지의 명백한 이동, 즉, 각각의 사진들간의 시차(parallax)가 만들어진다. 시차는 예를 들어, 사람(100) 대 스탠드(108)의 관계에 관하여 도 1a 및 도 1b에서 관찰할 수 있다. 도 1a에서, 스탠드(108)는 도 1b에서 보다도 사람(100)에 의해 완전히 가려져 있다. 시차는 또한 카트(104) 및 사람(100)의 우측 어깨에 관하여 관찰할 수 있다.
도 2는 도 1a 및 도 1b에서 이미지들을 결합함으로써 형성되는 불일치 이미지를 도시한다. 이 경우에, 이미지 픽셀 차들은 공지된 이미지 프로세싱 기술, 예를 들어 스탠포드 알고리즘(Stanford algorithm)을 사용하여 매핑된다. 그 이미지 픽셀들에서 이러한 차의 매핑, 즉 불일치 매핑은 좌측 및 우측 이미지들, 즉 도 1a 및 도 1b 간에 얼마나 많이 이동되는지 각 픽셀에 대해 각각 규정한다. 이 예시적인 예에서, 대상물 사람(100)은 일반적으로 장면에서 주변 대상물들과 구별할 수있다. 그러나, 사람(100)의 중요한 부분들은 구별할 수 없으며, 주변 영역들로 퍼진다. 이런 퍼짐은 영역들(210 및 220)로 도시된다. 도시된 바와 같이, 블록(106)은 주변 배경과 어느 정도 구별할 수 있지만, 분해할 수는 없다. 블록(106)이 관찰 카메라로부터 더 멀리 있으며 배경 벽에 더 가까우므로 블록(106)은 대상물 사람(100)만큼 구별할 수 없다. 더 멀리 떨어져 정지해 있는, 카트(104)는 영역(230)에 도시된 것처럼, 배경 이미지로 퍼진다. 주변 배경으로부터 대상물들을 유일하게 분해하기 위한 이러한 무능력은 이미지의 몇몇 부분들에서 질감의 결여에 의해 대상물 경계들에서 도입된 에러들에 의해 일부분 야기된다.
도 3은 이미지 프로세싱의 공지된 방법들을 사용하는 예시적인 이미지를 도시한다. 이 예에서, 영역(230)은 스탠포드 알고리즘의 후처리(post-processing) 단계들에 의해 정정된다. 그러나, 프로세싱은 영역들(210 및 220)에 도시된 이미지 퍼짐을 구별하지 못한다.
도 4a는 좌측 이미지, 예를 들어 도 1a 및 우측 이미지, 예를 들어 도 1b로부터 픽셀들을 매치하기 위한 정확한 해결책을 도시한다. 이 경우에, 어두운 원들(402, 404, 406 등)은 예를 들면, 우측 이미지에서 제 1 대상물, 예를 들어 사람(100)의 픽셀들을 나타내며, 어두운 원들(422, 424, 426 등)은 좌측 이미지에서 제 1 대상물의 픽셀들을 나타낸다. 유사하게, 밝은 원들(462, 464, 466 등)은 우측 이미지에서 제 2 대상물, 예를 들어 카트(104)의 픽셀들을 나타내며, 밝은 원들(482, 484, 486, 등)은 좌측 이미지에서 동일한 제 2 대상물의 픽셀들을 나타낸다. 인식되어진 바와 같이, 픽셀들(422, 424 및 424)은 이미지들간의 시차 이동때문에 픽셀들(402, 404 및 406)에 관해서 이동된다.
따라서, 좌측 및 우측 이미지들간의 픽셀들의 정확한 매치는 우측 이미지 대상물 픽셀들(402, 404, 406 등)이 좌측 이미지 대상물 픽셀들(422, 424, 426 등)과 매치될 때 얻어진다. 유사하게, 우측 제 2 대상물 픽셀들(468, 470, 472 등)은 좌측 이미지 제 2 대상물 픽셀들(482, 484, 486 등)과 매치된다. 도시된 바와 같이, 제 2 대상물 픽셀들(462, 466 및 468)은 매치되지 않는데, 이는 그들이 2개의 이미지들, 즉 시차 결과에서 도시되지 않기 때문이다. 그러므로, 이 픽셀들은 처리된 이미지로부터 정확하게 제거된다.
도 4b는 픽셀단위 매치와 연관된 예시적인 측정, 즉 비용 함수를 도시한다. 비용 함수들의 결정은 기술상 잘 공지되어 있으며, 이전에 언급된 스탠포드 알고리즘을 사용하여 얻어질 수 있다.
도 5a 및 도 5c는 대상물 픽셀들을 미스매칭하는 2개의 상태들을 도시한다. 도 5a에서, 픽셀 미스매치는 예를 들어 좌측 이미지에서 제 1 대상물로부터 픽셀들이 우측 이미지에서 제 2 대상물의 픽셀들에 매치되도록 한다. 도 5c에서, 픽셀 미스매치는 2개의 이미지들에서 도시되는 픽셀들이 부정확하게 매치되도록 한다. 이 예시적인 예에서, 픽셀들(482, 484 및 486)에 매치되어야 하는 픽셀들(468, 470, 472)은 정확하게 매치되지 않는다. 그러므로, 픽셀들(482, 484, 486)은 처리된 이미지로부터 부정확하게 제거되고 픽셀들(462, 464,466)은 부정확하게 포함된다.
도 5b는 도 5a에 도시된 픽셀 미스매치를 위한 비용 함수의 결과를 도시한다. 도시된 바와 같이, 비용 함수에 있어서 상당한 증가는 미스매치의 영역에서 측정된다. 이러한 타입의 에러는 경계 결정의 종래 방법들을 사용하여 드물게 발생한다. 도 5d는 도 5c에 도시된 픽셀 미스매치를 위한 비용 함수의 결과를 도시한다. 이 경우에, 정확한 대상물들로부터 픽셀들이 매치되므로 비용 함수에 대한 효과가 거의 없거나 또는 전혀 없다. 그러나, 픽셀들이 부정확하게 매치되고, 매치되고 유지되어야 하는 그 픽셀들은 실제로 버려진다. 그러므로, 비용 함수가 악영향을 미치지 않는 동안 대상물 경계는 이동된다.
도 6a는 도 5c에 도시된 예를 사용하여 본 발명의 원리들에 따라 픽셀 미스매치의 보정을 도시한다. 이 예시적인 예에서, 예를 들어 최소 비용 함수 해결책을 사용하여, 픽셀 매칭 해결책이 얻어진 후, 각각의 픽셀들은 잠재적으로 더 나은 해결책을 결정하기 위해 재매치된다. 그 다음 비용 함수에 대한 효과가 결정되며 교정된 비용 함수에 대한 효과가 상당히 나쁘면, 재매치된 픽셀 결합은 유지된다. 이 처리는 비용 함수에 대한 악영향이 결정될 때까지 계속된다. 예를 들어, 도시된 바와 같이 픽셀들(462, 464 및 468)은 픽셀들(482, 484 및 486)에 부정확하게 매치된다. 정확하게 매치된 픽셀들을 얻는데 필요한 연결(linkage)들을 나타내는 지시자들(610, 612 및 614)이 또한 도시된다. 즉, 픽셀(466)에 미스매치되는 픽셀(486)은 픽셀(472)에 매치될 때 정확하게 매치될 것이다. 본 발명의 원리들에 따라, 픽셀(486)은 픽셀(472)에 재매치될 것이다. 각각의 재매치에서 새로운 상이점(dissimilarity) 측정이 얻어지며 결정된 경계들과 비교된다. 불일치 측정에 상당히 악영향이 있을 때, 선택된 픽셀을 재매치하는 프로세스가 완성된다. 유사하게, 픽셀(484)은 픽셀(470)에 매치될 때 정확하게 매치될 것이며, 픽셀(482)은 픽셀(468)에 매치될 때 정확하게 매치될 것이다. 도 6b는 픽셀들이 재매치될 때 비용 함수에 대한 악영향이 없음을 도시한다. 이 재매치된 픽셀들이 또한 픽셀들의 유효한 결합들일 때 비용 함수에 대한 어떠한 악영향도 관찰되지 않는다.
도 7a는 본 발명의 원리들에 따라 예시적인 프로세싱의 흐름도를 도시한다. 2개의 이미지들이 매치되고 도 2에 도시된 바와 같이 불일치 이미지 또는 맵이 생성된 후, 불일치 맵내의 행은 블록(710)에서 선택된다. 블록(712)에서, Xi로 표기된 불일치 이미지의 선택된 행에서 픽셀은 그 다음 선택된다. 블록(714)에서, 결정은 픽셀(Xi)의 불일치 측정이 Xi+1과 같은, 인접 픽셀의 불일치 측정보다 큰지 여부에 관하여 행해진다.
블록(714)에서 결정이 긍정이라면, 임계 한계들은 블록(716)에서 결정된다. 블록(718)에서, 픽셀(Xi-M(Xi+1))과 함께 픽셀(Xi)의 일시적인 재매치가 행해지며, 여기서 M(Xi+1)은 불일치 측정이다. 그 다음 새로운 상이점 측정이 재매치된 픽셀에 대해 결정된다. 블록(720)에서 일시적으로 재매치된 픽셀의 상이점 측정이 결정된 허용 오차 경계들 내에 있는지 여부를 결정한다. 결정이 긍정이면, 새로운 픽셀(Xi-1)이 블록(724)에서 선택된다.
선택된 다음 픽셀이 이미지 경계에 있는지 여부에 관하여 결정한다. 응답이 긍정이면, 다음 행은 블록(730)에서 선택된다. 결정이 부정이면, 선택된 픽셀의불일치가 원래의 구성, 즉 M0으로 언급된 M(Xi)와 비교된다. 선택된 픽셀의 불일치 측정에서 차가 결정되면, 선택된 픽셀들은 블록(718)에서 매치되게 된다. 다른 방법으로, 다음 픽셀은 블록(726)에서 선택된다.
블록(720)에서 결정이 부정이면, 이전의 Xi1, Xj2 결합은 유지된다. 다음 픽셀 X이 그 다음에 블록(712)에서 선택된다.
결정이 블록(714)에서 부정으로 구해되면, 선택된 행에서 다음의 픽셀 X가 선택된다. 선택된 행에서 마지막 픽셀이 처리되었는지 여부에 관하여 블록(728)에서 결정된다. 결정이 부정이면 선택된 픽셀 X은 블록(714)에서 시작하여 처리된다. 다른 한편으로, 결정이 긍정이면, 다음 행이 블록(730)에서 선택된다. 불일치 맵에서 모든 행들이 처리되었는지 여부에 관하여 블록(732)에서 결정된다. 결정이 부정이면, 선택된 행에서 픽셀 X은 블록(712)에서 시작하여 처리된다.
결정이 블록(732)에서 긍정이면, 프로세싱은 종료된다.
도 7b는 픽셀 재매칭이 유효하게 될 수 있는지 여부를 결정하는데 사용되는 임계값 한계들을 확립하는 것에 관한 예시적인 프로세싱을 도시한다. 이 예시적인 프로세싱에서, 블록(750)에서 임시 임계값은 공지된 값에 의해 증대된 선택된 픽셀 X에 인접한 다수의 픽셀들의 불일치 맵 값들의 평균값으로서 결정된다. 블록(753)에서, 임시 임계값이 제 2 공지된 값 이상인지 여부에 관하여 결정된다. 결정이 부정이면, 임계값은 제 2 공지된 값으로 설정된다. 다른 한편으로, 결정이 긍정이면, 임시 임계값이 제 3 공지된 값 이하인지 여부에 관하여 블록(754)에서 결정된다. 결정이 부정이면, 임계값은 블록(758)에서 이 제 3 공지된 값으로 설정된다. 다른 방법으로, 결정이 긍정이면, 임계값은 임시 임계값으로 설정된다. 본 발명의 바람직한 실시예에서, 임시 임계값은 10 단위들로 증대된 선택된 픽셀들에 인접한 적어도 3개의 픽셀들, 예를 들어 XI+1, XI+2, XI+3의 불일치 값들의 평균으로서 결정된다. 또한, 임계값들은 15 및 50단위들로 되도록 제한되며, 즉 제 2 공지된 값은 15이며 제 3 공지된 값은 50이다. 본 발명의 다른 양태에서, 언급된 공지된 값들은 다수의 인접한 픽셀들의 불일치 값들의 평균의 비율로서 결정될 수 있다. 게다가, 각각의 언급된 공지된 값들은 고정된 값 또는 다수의 인접한 픽셀들의 불일치 값들의 평균의 비율로 선택될 수 있다. 인식된 바와 같이, 각각의 언급된 공지된 값은 본 발명의 원리들 및 정신을 변경하지 않고 상당히 보정될 수 있다.
도 8은 본 발명의 원리들에 따라 재처리된 도 3에서 도시된 예시적인 컴퓨터 이미지를 도시한다. 이 예시적인 예에서, 블록(106)은 명확하게 구별되며, 영역(210)은 배경으로부터 의자 팔걸이(102)와 사람(100)을 구별한다.
도 7a 및 도 7b에 기재되어 있는 방법은 전경 대상물이 경계의 좌측에 있고 이미지의 우측을 가능한 한 초과할 때 대상물 경계들을 보정하기 위한 프로세스를 나타낸다. 인식된 바와 같이, 전경 대상물이 경계의 우측에 있을 때 경계들을 보정하기 위해 동일하고 대칭적인 프로세스가 또한 구현될 수 있다. 동일한 프로세스가 좌우측 이미지들과 각 행에서 픽셀들을 프로세싱하는 방향을 교환함으로써, 도 7a 및 도 7b에 도시된 프로세스로부터 획득될 수 있다. 그러므로, 일 실시예에서, 매치된 픽셀 엔티티들은 예를 들어 최좌측 픽셀 엔티티에서 시작하여 선택되며, 픽셀 엔티티들은 선택된 엔티티 다음에 선택된다. 동일하고, 대칭적인 프로세스에서, 매치된 픽셀 엔티티는 최우측 픽셀 엔티티에서 시작하여 선택되며, 픽셀 엔티티들은 선택된 엔티티에 선행할 때 선택된다. 2개의 프로세스들, 즉 도 7a 및 도 7b에 도시된 프로세스 및 동일하고, 대칭적인 프로세스에서, 대상물 경계들은 도 8에서 210 및 810으로 표기된 영역들에 도시된 바와 같이 보다 명확하게 규정될 수 있다.
본 발명이 어느 정도의 상세한 설명으로 바람직한 형태로 기술되고 묘사된다 하더라도, 바람직한 형태의 본 명세서가 단지 예로서 행해지며, 부분들의 질감, 결합 및 배치의 상세한 설명에서 다양한 변화들은 하기에 청구된 바와 같이 본 발명의 정신 및 범위로부터 벗어나지 않고 행해질 수 있음이 이해된다. 동일한 결과들을 달성하기 위해 실질적으로 동일한 방식으로 실질적으로 동일한 기능을 수행하는 그 요소들 및/또는 방법 단계들의 모든 결합들은 본 발명의 범위 내에 있음이 명확하게 의도된다. 한 기술된 실시예에서 다른 기술된 실시예까지 요소들의 치환이 또한 완전히 의도되며 설명된다.

Claims (19)

  1. 장면(scene)의 제 1 입체 이미지 및 상기 장면의 제 2 입체 이미지를 사용하여 대상물의 경계(object boundary)들을 정제(refine)하는 방법에 있어서, 상기 입체 이미지들간의 대응하는 픽셀들은 제 1 불일치(disparity) 측정을 갖는 단일 픽셀 엔티티로서 각각 매치되며, 상기 방법은,
    a. 상기 매치된 픽셀 엔티티들 중 하나를 선택하는 단계와;
    b. 재매치된 픽셀 엔티티를 생성하기 위해 상기 제 2 이미지내의 인접한 픽셀에 상기 제 1 이미지내의 대응하는 픽셀을 매치하는 단계와;
    c. 상기 재매치된 픽셀 엔티티에 대한 제 2 측정을 결정하는 단계와;
    d. 상기 결정된 제 2 측정이 상기 제 1 측정과 실질적으로 상이하지 않을 때 상기 재매치된 픽셀 엔티티를 유지하는 단계와;
    e. 각각의 픽셀 엔티티에 대해 단계들 b 내지 d를 반복하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서, 상기 제 1 측정 및 상기 제 2 측정은 비용 함수(cost function)를 포함하는, 방법.
  3. 제 1 항에 있어서, 상기 제 2 측정이 결정된 값에 대한 공지된 범위내에 있을 때 상기 제 2 측정은 실질적으로 상이하지 않는, 방법.
  4. 제 3 항에 있어서, 상기 결정된 값은 제 1 공지된 값에 의해 증대된 다수의 인접한 매치된 픽셀 엔티티 불일치 값들의 평균 불일치 값인, 방법.
  5. 제 3 항에 있어서, 상기 공지된 범위는 상기 결정된 값의 비율(percentage)로서 결정되는, 방법.
  6. 제 1 항에 있어서, 상기 선택된 하나의 매치된 픽셀 엔티티는 행내의 제 1 픽셀 엔티티에서 시작하여 선택되는, 방법.
  7. 제 6 항에 있어서, 상기 인접한 픽셀들은 상기 행내의 적어도 하나의 다음 픽셀 엔티티로서 선택되는, 방법.
  8. 제 1 항에 있어서, 상기 선택된 하나의 매치된 픽셀 엔티티는 상기 행내의 마지막 픽셀 엔티티에서 시작하여 선택되는, 방법.
  9. 제 8 항에 있어서, 상기 인접한 픽셀들은 상기 행에서 적어도 하나의 선행 픽셀 엔티티로서 선택되는, 방법.
  10. 장면의 제 1 입체 이미지 및 상기 장면의 제 2 입체 이미지를 사용하여 대상물의 경계들을 정제하기 위한 장치에 있어서, 상기 입체 이미지들간의 대응하는 픽셀들은 제 1 불일치 측정을 갖는 단일 픽셀 엔티티로서 각각 매치되며, 상기 장치는,
    - 선택된 행내의 상기 매치된 픽셀 엔티티들의 단일 엔티티를 선택하기 위한 선택기(710)와;
    - 재매치된 픽셀 엔티티를 생성하기 위해 상기 제 2 이미지내의 인접한 이미지에 상기 제 1 이미지내의 대응하는 픽셀을 매치하기 위한 매치기(714)와;
    - 상기 재매치된 픽셀 엔티티에 대한 제 2 측정을 결정하기 위한 불일치 측정 장치(736)와;
    - 상기 제 2 측정 및 상기 제 1 측정간의 차를 결정하기 위한 차 장치(738)와;
    - 상기 차가 중요하지 않을 때 상기 재매치된 픽셀 엔트리를 유지하기 위한 유지 장치(722)를 포함하는, 장치.
  11. 제 10 항에 있어서, 상기 불일치 측정 장치는 비용 함수로서 상기 제 1 측정 및 상기 제 2 측정을 결정하는, 장치.
  12. 제 10 항에 있어서, 상기 유지 장치는
    상기 제 2 측정이 결정된 값(720)에 대한 공지된 범위내에 있을 때 상기 차가 실질적으로 상이하지 않다고 결정하도록 동작하는, 장치.
  13. 제 12 항에 있어서, 상기 유지 장치는 제 1 공지된 값(716)에 의해 증대된 다수의 인접한 매치된 픽셀 엔티티들의 불일치 값들의 평균으로서 상기 공지된 범위를 결정하도록 동작하는, 장치.
  14. 제 12 항에 있어서, 상기 유지 장치는 상기 결정된 값(716)의 비율로서 상기 공지된 범위를 결정하도록 동작하는, 장치.
  15. 제 12 항에 있어서, 상기 공지된 범위는 공지된 하한값(716)을 포함하는, 장치.
  16. 제 12 항에 있어서, 상기 공지된 범위는 공지된 상한값(716)을 포함하는, 장치.
  17. 제 10 항에 있어서, 상기 선택기는 상기 행(712)내의 제 1 픽셀 엔티티에서 시작하여 상기 매치된 픽셀 엔티티를 선택하도록 동작하는, 장치.
  18. 제 17 항에 있어서, 상기 다수의 인접한 픽셀 엔티티들은 상기 선택된 픽셀 엔티티 다음에 선택되는, 장치.
  19. 제 10 항에 있어서, 상기 선택기는 상기 행(712)내의 마지막 픽셀 엔티티에서 시작하여 상기 매치된 픽셀 엔티티를 선택하도록 동작하는, 장치.
KR1020027013663A 2001-02-12 2002-01-28 입체 이미지들로부터 추출된 대상물 경계들을 향상시키는방법 및 장치 KR20030005276A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/781,507 2001-02-12
US09/781,507 US6751345B2 (en) 2001-02-12 2001-02-12 Method and apparatus for improving object boundaries extracted from stereoscopic images

Publications (1)

Publication Number Publication Date
KR20030005276A true KR20030005276A (ko) 2003-01-17

Family

ID=25122958

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027013663A KR20030005276A (ko) 2001-02-12 2002-01-28 입체 이미지들로부터 추출된 대상물 경계들을 향상시키는방법 및 장치

Country Status (6)

Country Link
US (1) US6751345B2 (ko)
EP (1) EP1362327A1 (ko)
JP (1) JP2004519048A (ko)
KR (1) KR20030005276A (ko)
CN (1) CN1468415A (ko)
WO (1) WO2002065397A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100972907B1 (ko) * 2005-08-22 2010-07-28 닌텐도가부시키가이샤 게임 조작 장치

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996287B1 (en) * 2001-04-20 2006-02-07 Adobe Systems, Inc. Method and apparatus for texture cloning
US7088863B2 (en) * 2001-10-31 2006-08-08 Infowrap Systems Ltd Method for illumination independent change detection in a pair of registered gray images
US7388987B2 (en) * 2004-05-28 2008-06-17 Hewlett-Packard Development Company, L.P. Computing dissimilarity measures
WO2007105176A2 (en) * 2006-03-15 2007-09-20 Koninklijke Philips Electronics N.V. Method for determining a depth map from images, device for determining a depth map
JP4893079B2 (ja) * 2006-04-14 2012-03-07 ソニー株式会社 境界値テーブル最適化装置、液体吐出ヘッド、液体吐出装置及びコンピュータプログラム
DE102007027958A1 (de) * 2007-06-18 2008-12-24 Daimler Ag Verfahren zur Optimierung eines stereoskopischen Bildes
JP5587030B2 (ja) * 2010-05-18 2014-09-10 株式会社名南製作所 原木木口の外周エッジ検出装置および外周エッジ検出方法
US9361699B2 (en) * 2012-06-27 2016-06-07 Imec Taiwan Co. Imaging system and method
US10587858B2 (en) * 2016-03-14 2020-03-10 Symbol Technologies, Llc Device and method of dimensioning using digital images and depth data

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0766445B2 (ja) 1988-09-09 1995-07-19 工業技術院長 画像処理方法
US5530774A (en) 1994-03-25 1996-06-25 Eastman Kodak Company Generation of depth image through interpolation and extrapolation of intermediate images derived from stereo image pair using disparity vector fields
DE19509373C1 (de) 1995-03-15 1996-08-08 Siemens Ag Verfahren und Anordnung zur objektbasierten Bildkodierung
US6046763A (en) 1997-04-11 2000-04-04 Nec Research Institute, Inc. Maximum flow method for stereo correspondence
US5917937A (en) 1997-04-15 1999-06-29 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements
GB2324428A (en) * 1997-04-17 1998-10-21 Sharp Kk Image tracking; observer tracking stereoscopic display
US6701005B1 (en) * 2000-04-29 2004-03-02 Cognex Corporation Method and apparatus for three-dimensional object segmentation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100972907B1 (ko) * 2005-08-22 2010-07-28 닌텐도가부시키가이샤 게임 조작 장치

Also Published As

Publication number Publication date
US6751345B2 (en) 2004-06-15
WO2002065397A8 (en) 2003-06-05
EP1362327A1 (en) 2003-11-19
JP2004519048A (ja) 2004-06-24
US20020110272A1 (en) 2002-08-15
CN1468415A (zh) 2004-01-14
WO2002065397A2 (en) 2002-08-22

Similar Documents

Publication Publication Date Title
US6865289B1 (en) Detection and removal of image occlusion errors
TWI729995B (zh) 基於場景之拍攝圖像而產生合併、融合三維點雲
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
RU2504010C2 (ru) Способ и устройство заполнения зон затенения карты глубин или несоответствий, оцениваемой на основании по меньшей мере двух изображений
US6671399B1 (en) Fast epipolar line adjustment of stereo pairs
US8897545B2 (en) Apparatus and method for determining a confidence value of a disparity estimate
KR100911814B1 (ko) 스테레오 영상 매칭오류 제거장치 및 이를 이용한 제거방법
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
JP2011060116A (ja) 画像処理装置
EP1815441B1 (en) Rendering images based on image segmentation
CN105683707A (zh) 摄像装置和相位差检测方法
KR20030005276A (ko) 입체 이미지들로부터 추출된 대상물 경계들을 향상시키는방법 및 장치
CN111340749A (zh) 图像质量的检测方法、装置、设备及存储介质
CN105659054A (zh) 摄像装置和相位差检测方法
JP4296617B2 (ja) 画像処理装置および画像処理方法、並びに記録媒体
JP3008875B2 (ja) 被写体抽出装置
Farid et al. Edge enhancement of depth based rendered images
CN113763449B (zh) 深度恢复方法、装置、电子设备及存储介质
JP2807137B2 (ja) 立体形状検出方法
CN112233164B (zh) 一种视差图错误点识别与校正方法
KR100489894B1 (ko) 양안식 스테레오 영상의 카메라 광축 간격 조절 장치 및그 방법
CN116579968A (zh) 用于食材图像的识别方法及装置、蒸烤设备、存储介质
Gallagher Detecting anaglyph images with channel alignment features
JPH10289315A (ja) 視差算出装置、距離算出装置およびこれらの方法
CN114897951B (zh) 聚合多视角深度信息的单张光场影像深度估计方法及系统

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid