KR101932595B1 - 영상에서 투명 오브젝트를 검출하는 영상 처리 장치 및 방법 - Google Patents

영상에서 투명 오브젝트를 검출하는 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101932595B1
KR101932595B1 KR1020120118406A KR20120118406A KR101932595B1 KR 101932595 B1 KR101932595 B1 KR 101932595B1 KR 1020120118406 A KR1020120118406 A KR 1020120118406A KR 20120118406 A KR20120118406 A KR 20120118406A KR 101932595 B1 KR101932595 B1 KR 101932595B1
Authority
KR
South Korea
Prior art keywords
image
segments
transparent
segment
group
Prior art date
Application number
KR1020120118406A
Other languages
English (en)
Other versions
KR20140052365A (ko
Inventor
정승원
이승규
최욱
김도균
이기창
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120118406A priority Critical patent/KR101932595B1/ko
Priority to US13/888,803 priority patent/US9349075B2/en
Publication of KR20140052365A publication Critical patent/KR20140052365A/ko
Priority to US15/151,866 priority patent/US10204287B2/en
Application granted granted Critical
Publication of KR101932595B1 publication Critical patent/KR101932595B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

입력 영상에서 투명 오브젝트를 검출하는 영상 처리 장치 및 방법이 개시된다. 영상 처리 장치는 입력 영상을 복수의 세그먼트들로 분할하는 영상 분할부; 상기 복수의 세그먼트들에서 인접한 세그먼트들 간 투명 오브젝트가 존재할 가능성(likelihood)을 결정하는 가능성 결정부; 및 상기 가능성에 기초하여 상기 입력 영상에서 투명 오브젝트를 검출하는 오브젝트 검출부를 포함할 수 있다.

Description

영상에서 투명 오브젝트를 검출하는 영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD FOR DETECTING TRANSLUCENT OBJECTS IN IMAGE}
이하의 일실시예들은 영상 처리 장치 및 방법에 관한 것으로 입력 영상에서 투명 오브젝트를 검출하는 영상 처리 장치 및 방법에 관한 것이다.
ToF(Time-of-flight) 카메라는 오브젝트를 향하여 출력광을 출력하고, 출력광이 오브젝트에 반사된 반사광을 수신하며, 반사광의 밝기에 기초하여 오브젝트의 깊이 정보를 측정할 수 있다. 그러므로, 반사광이 오브젝트에서 바로 반사되어야 오브젝트의 깊이 정보를 정확하게 측정할 수 있다.
그러나, 오브젝트가 투명한 경우, 출력광의 일부는 오브젝트를 투과하여 다른 오브젝트나 배경에 반사된 후 ToF 카메라에 수신된다. 즉, ToF 카메라가 수신한 반사광 안에 투명 오브젝트에서 반사된 반사광과 배경에서 반사된 반사광이 혼합되므로 ToF 카메라가 측정하는 오브젝트의 깊이 정보의 정확도가 감소할 수 있다.
따라서, 오브젝트의 깊이 정보의 정확도를 높이기 위해서는 영상에서 투명 오브젝트를 검출하는 영상 처리 방법이 요구된다.
일실시예에 따른 영상 처리 장치는 입력 영상을 복수의 세그먼트들로 분할하는 영상 분할부; 상기 복수의 세그먼트들에서 인접한 세그먼트들 간 투명 오브젝트가 존재할 가능성(likelihood)을 결정하는 가능성 결정부; 및 상기 가능성에 기초하여 상기 입력 영상에서 투명 오브젝트를 검출하는 오브젝트 검출부를 포함할 수 있다.
일실시예에 따른 영상 처리 장치의 영상 분할부는 입력 영상에 포함된 깊이 영상, 및 밝기 영상 중 적어도 하나를 이용하여 입력 영상을 분할할 수 있다.
일실시예에 따른 영상 처리 장치의 가능성 결정부는 인접한 세그먼트들로 구성된 세그먼트 쌍이 투명 속성과 관련된 그룹에 속하는 정도를 결정하고, 상기 투명 속성과 관련된 그룹은, 적어도 하나의 세그먼트가 투명인 세그먼트 쌍을 포함할 수 있다.
일실시예에 따른 영상 처리 장치의 가능성 결정부는 특징 추출과 관련된 학습 모델을 이용하여 인접한 세그먼트들로 구성된 세그먼트 쌍이 투명 속성과 관련된 그룹에 속하는 정도를 결정할 수 있다.
일실시예에 따른 영상 처리 장치의 학습 모델은 테스트 영상을 통해 인접한 세그먼트들 쌍들 각각의 진폭 및 깊이에 기초한 특징을 추출할 수 있다.
일실시예에 따른 영상 처리 장치의 오브젝트 검출부는 상기 가능성에 기초한 전역적인 최적화 기법 또는 상기 가능성에 기초한 지역적인 최적화 기법 중 어느 하나의 기법을 이용하여 투명 오브젝트를 검출할 수 있다.
일실시예에 따른 영상 처리 장치는 테스트 영상을 복수의 세그먼트들로 분할하는 영상 분할부; 상기 복수의 세그먼트들에 중에서 인접한 세그먼트 쌍이 속하는 투명 속성과 관련된 그룹을 결정하는 그룹 결정부; 및 세그먼트 쌍이 속하는 그룹을 기초로 세그먼트 쌍과 관련된 특징을 추출하는 학습 과정을 수행하는 학습부를 포함할 수 있다.
일실시예에 따른 영상 처리 장치의 그룹 결정부는 테스트 영상의 투명 오브젝트와 관련된 정보를 이용하여 세그먼트 쌍 중 적어도 하나가 투명 오브젝트와 관련되었는지 여부를 판단하고, 판단 결과에 따라 세그먼트 쌍이 속하는 그룹을 결정할 수 있다.
일실시예에 따른 영상 처리 장치는 테스트 영상을 이용하여 투명 오브젝트와 관련된 특징을 추출하는 학습 과정을 수행하는 특징 학습부; 및 학습한 특징을 이용하여 입력 영상의 세그먼트들이 투명 오브젝트와 관련될 가능성을 결정하고, 결정한 가능성을 이용하여 입력 영상에서 투명 오브젝트를 검출하는 투명 오브젝트 검출부를 포함할 수 있다.
일실시예에 따른 영상 처리 방법은 입력 영상을 복수의 세그먼트들로 분할하는 단계; 상기 복수의 세그먼트들에서 인접한 세그먼트들 간 투명 오브젝트가 존재할 가능성(likelihood)을 결정하는 단계; 및 상기 가능성에 기초하여 상기 입력 영상에서 투명 오브젝트를 검출하는 단계를 포함할 수 있다.
일실시예에 따른 영상 처리 방법은 테스트 영상을 복수의 세그먼트들로 분할하는 단계; 상기 복수의 세그먼트들에 중에서 인접한 세그먼트 쌍이 속하는 투명 속성과 관련된 그룹을 결정하는 단계; 및 세그먼트 쌍이 속하는 그룹을 기초로 세그먼트 쌍과 관련된 특징을 추출하는 학습 과정을 수행하는 단계를 포함할 수 있다.
일실시예에 따른 영상 처리 방법은 테스트 영상을 이용하여 투명 오브젝트와 관련된 특징을 추출하는 학습 과정을 수행하는 단계; 및 학습한 특징을 이용하여 입력 영상의 세그먼트들이 투명 오브젝트와 관련될 가능성을 결정하고, 결정한 가능성을 이용하여 입력 영상에서 투명 오브젝트를 검출하는 단계를 포함할 수 있다.
도 1은 일실시예에 따른 영상 처리 장치의 구조를 도시한 도면이다.
도 2는 TOF 카메라가 투명 오브젝트를 촬영하는 실시예이다.
도 3은 일실시예에서 특징 학습부의 동작 과정을 도시한 도면이다.
도 4는 일실시예에서 투명 오브젝트 검출부의 동작 과정을 도시한 도면이다.
도 5는 일실시예에 따른 영상 처리 장치를 도시한 도면이다.
도 6은 일실시예에 따라 하나의 오브젝트를 복수의 세그먼트로 분할한 일례이다.
도 7은 일실시예에서 특징을 학습하는 과정의 일례이다.
도 8은 일실시예에서 학습한 특징의 히스토그램의 일례이다.
도 9는 일실시예에 따른 영상 처리 장치를 도시한 도면이다.
도 10은 일실시예에 따라 세그먼트들을 그래프로 나타낸 일례이다.
도 11은 일실시예에 따른 영상 처리 방법을 도시한 도면이다.
도 12는 일실시예에 따른 영상 처리 방법을 도시한 도면이다.
도 13은 일실시예에 따른 영상 처리 방법을 도시한 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따른 영상 처리 장치의 구조를 도시한 도면이다.
도 1을 참고하면, 영상 처리 장치(100)는 특징 학습부(110)와 투명 오브젝트 검출부(120)를 포함할 수 있다.
특징 학습부(110)는 테스트 영상을 이용하여 투명 오브젝트와 관련된 특징을 추출하는 학습 과정을 수행할 수 있다. 이때, 테스트 영상은 투명 오브젝트와 관련된 정보 및 TOF(Time-of-flight) 카메라가 촬영한 밝기 영상과 깊이 영상을 포함할 수 있다. 또한, 투명 오브젝트와 관련된 정보는 투명 오브젝트의 크기와 위치를 포함할 수 있다. 예를 들어 투명 오브젝트와 관련된 정보는 지상 실측 투명(Ground-truth Translucency) 영상일 수 있다.
구체적으로, 특징 학습부(110)는 테스트 영상을 복수의 세그먼트들로 분할하고, 분할한 세그먼트들 중에서 인접한 세그먼트 쌍이 속하는 투명 속성과 관련된 그룹을 결정할 수 있다. 이때, 특징 학습부(110)는 테스트 영상의 투명 오브젝트와 관련된 정보를 이용하여 세그먼트 쌍 중 적어도 하나가 투명 오브젝트와 관련되었는지 여부를 판단하고, 판단 결과에 따라 세그먼트 쌍이 속하는 그룹을 결정할 수 있다.
예를 들어, 특징 학습부(110)는 인접한 세그먼트 쌍 중 적어도 하나가 투명 오브젝트에 대응하는 경우, 해당 세그먼트 쌍들을 포지티브 샘플(Positive Sample) 그룹으로 결정할 수 있다. 또한, 특징 학습부(110)는 인접한 세그먼트 쌍들이 모두 투명 오브젝트와 대응하지 않는 경우, 해당 세그먼트 쌍을 네거티브 샘플(Negative Sample) 그룹으로 결정할 수 있다.
다음으로 특징 학습부(110)는 세그먼트 쌍이 속하는 그룹을 기초로 세그먼트 쌍과 관련된 특징을 추출할 수 있다.
특징 학습부(110)가 특징을 학습하는 과정은 이하 도 5를 참조로 상세히 설명한다.
투명 오브젝트 검출부(120)는 특징 학습부(110)가 학습한 특징을 이용하여 입력 영상의 세그먼트들이 투명 오브젝트와 관련될 가능성을 결정하고, 결정한 가능성을 이용하여 입력 영상에서 투명 오브젝트를 검출할 수 있다.
구체적으로 투명 오브젝트 검출부(120)는 입력 영상을 복수의 세그먼트들로 분할하고, 분할한 세그먼트들 중에서 인접한 세그먼트 쌍 간의 깊이 영상 및 밝기 영상의 차이를 학습한 특징과 비교하여 해당 세그먼트들이 투명 오브젝트와 관련될 가능성을 결정할 수 있다.
다음으로, 투명 오브젝트 검출부(120)는 결정한 상기 가능성에 기초한 전역적인 최적화 기법 또는 결정한 가능성에 기초한 지역적인 최적화 기법 중 어느 하나의 기법을 이용하여 투명 오브젝트를 검출할 수 있다.
투명 오브젝트 검출부(120)가 투명 오브젝트를 검출하는 과정은 이하 도 9를 참조로 상세히 설명한다.
도 2는 TOF 카메라가 투명 오브젝트를 촬영하는 실시예이다.
TOF(Time-of-flight) 카메라(200)는 오브젝트를 향하여 출력광(201)을 출력하고, 출력광(201)이 오브젝트에 반사된 반사광을 수신하며, 반사광의 밝기에 기초하여 오브젝트의 깊이 정보를 측정할 수 있다. 이때, TOF 카메라가 수신한 반사광들로 구성된 영상이 밝기 영상이며, TOF 카메라(200)는 깊이 정보를 이용하여 깊이 영상을 생성할 수 있다.
TOF 카메라(200)가 촬영하는 오브젝트가 투명 오브젝트(210)인 경우, 출력광(201)의 일부는 투명 오브젝트(210)에 반사되어 제1 반사광(211)이 되고, 출력광(201)의 나머지(212)는 투명 오브젝트(210)을 통과하여 배경(220)까지 전달될 수 있다. 이때, 배경(220)은 불투명 오브젝트일 수도 있다.
그리고, 출력광(201)의 나머지(212)는 배경(220)에 반사되어 제2 반사광(221)이 될 수 있다. 예를 들어 출력광(201) g(t)가 수학식 1로 정의되는 경우, 제1 반사광(211) r1(t)과 제2 반사광(221) r2(t)은 각각 수학식 2와 수학식 3로 정의할 수 있다.
Figure 112012086745658-pat00001
Figure 112012086745658-pat00002
Figure 112012086745658-pat00003
이때, A는 출력광(201)의 밝기(Amplitude), AF는 제1 반사광(211)의 밝기, AB는 제2 반사광(221)의 밝기일 수 있다. 또한, w　는 출력광(201)의 변조(Modulation) 주파수이고, B는 출력광(201)의 오프셋(Offset), BF는 제1 반사광(211)의 오프셋, BB는 제2 반사광(221)의 오프셋일 수 있다. 그리고,
Figure 112012086745658-pat00004
는 투명 오브젝트(210)에 의하여 발생하는 위상차이고,
Figure 112012086745658-pat00005
는 배경(220)에 의해 발생하는 위상차일 수 있다. 이때, 위상 차는 깊이(Depth)로 변환할 수 있으므로, 위상 차를 깊이 정보로 사용할 수 있다.
즉, TOF 카메라(200)가 촬영하는 오브젝트가 투명 오브젝트(210)인 경우, TOF 카메라(200)는 제1 반사광(211)과 제2 반사광(221)을 포함한 반사광을 수신하여 깊이 정보를 측정할 수 있다. 이때, TOF 카메라(200)가 수신하는 반사광 r(t)는 수학식 4로 정의할 수 있다.
Figure 112012086745658-pat00006
또한, 투명 오브젝트(210)의 깊이 정보를 측정하기 위하여 출력광(201)과 TOF 카메라(200)가 수신하는 반사광 간의 상관 관계(Correlation)는 수학식 5로 계산될 수 있다.
Figure 112012086745658-pat00007
그리고, TOF 카메라(200)는 수학식 6을 이용하여 깊이 정보를 측정할 수 있다.
Figure 112012086745658-pat00008
TOF 카메라(200)가 촬영하는 오브젝트가 불투명 오브젝트인 경우, 수학식 6에서 AB　= 0이 되므로 AF　성분도 분자/분모에서 소거되어 오브젝트의 깊이(Depth)에 해당하는
Figure 112012086745658-pat00009
를 획득할 수 있다. 그러나, TOF 카메라(200)가 촬영하는 오브젝트가 투명 오브젝트(210)인 경우, AB와 AF가 0이 아닌 값을 가지므로 측정한 깊이 정보의 값이 제1 반사광(211)의 밝기 및 제2 반사광(221)의 밝기에 따라 변경될 수 있다.
예를 들어, 투명 오브젝트(210)가 동일한 깊이에 있더라도, 제2 반사광(221)의 밝기에 따라 투명 오브젝트(210)의 깊이 정보의 값이 변경될 수 있다.
또한, 제1 반사광(211)의 밝기가 제2 반사광(221)의 밝기보다 밝은 경우, TOF 카메라(200)가 측정한 깊이 정보는 수학식 7과 같이 투명 오브젝트(210)의 깊이 정보에 근접한 값일 수 있다.
Figure 112012086745658-pat00010
반면, 제2 반사광(221)의 밝기가 제1 반사광(211)의 밝기보다 밝은 경우, TOF 카메라(200)가 측정한 깊이 정보는 배경(220)의 깊이 정보에 근접한 값일 수 있다.
도 3은 일실시예에서 특징 학습부의 동작 과정을 도시한 도면이다.
먼저, 특징 학습부(110)는 도 3에 도시된 바와 같이 밝기 영상(311), 깊이 영상(312), 및 지상 실측 투명(Ground-truth Translucency) 영상(313)을 포함하는 테스트 영상(310)을 입력 받을 수 있다. 이때, 지상 실측 투명 영상(313)은 도 3에 도시된 바와 같이 테스트하고자 하는 투명 오브젝트의 크기와 위치를 나타내는 정보일 수 있다.
다음으로 특징 학습부(110)는 밝기 영상(311)과 깊이 영상(312)을 이용하여 입력 영상(310)을 복수의 세그먼트(321)로 분할할 수 있다. 이때, 분할된 영상(320)은 반사광에 따라 하나의 오브젝트가 복수의 세그먼트(321)로 분할된 영상일 수 있다.
그 다음으로 특징 학습부(110)은 지상 실측 투명 영상(313)을 이용하여 분할된 영상(320)에 포함된 세그먼트들 각각이 투명 오브젝트에 대응하는 투명 세그먼트인지 여부를 식별할 수 있다.
다음으로 특징 학습부(110)는 인접한 세그먼트 쌍 중 적어도 하나가 투명 오브젝트에 대응하는 세그먼트 쌍들을 포지티브 샘플(Positive Sample) 그룹으로 결정하고, 나머지 세그먼트 쌍들을 네거티브 샘플(Negative Sample) 그룹으로 결정할 수 있다.
마지막으로, 특징 학습부(110)는 학습기(Classifier)를 이용하여 인접한 제1 세그먼트(331)과 제2 세그먼트(332) 간의 특징을 학습할 수 있다. 이때, 제1 세그먼트(331)과 제2 세그먼트(332) 간의 특징은 제1 세그먼트(331)과 제2 세그먼트(332)사이의 경계(331)이 투명 세그먼트들 간의 경계, 투명 세그먼트와 불투명 세그먼트 간의 경계 및 불투명 세그먼트들 간의 경계 중 어떤 것인지를 식별하는 정보일 수 있다.
그리고, 특징 학습부(110)는 그룹별로 세그먼트 쌍들의 특징을 학습함으로써, 투명 세그먼트와 관련된 세그먼트들 간의 특징과 불투명 세그먼트들 간의 특징을 구분하여 학습할 수 있다.
도 4는 일실시예에서 투명 오브젝트 검출부의 동작 과정을 도시한 도면이다.
먼저 투명 오브젝트 검출부(120)는 도 4에 도시된 바와 같이 밝기 영상(411), 및 깊이 영상(412)을 포함하는 입력 영상(410)을 입력 받을 수 있다. 이때, 입력 영상(410)은 테스트 영상(310)과 동일할 수도 있고, 다를 수도 있다. 예를 들어, 투명 오브젝트 검출부(120)는 테스트 영상(310)과 동일한 입력 영상을 이용하여 투명 오브젝트 검출 성능을 테스트할 수 있다. 또한, 투명 오브젝트 검출부(120)는 테스트 영상(310)과 달라 투명 오브젝트에 대한 정보가 없는 입력 영상에서 투명 오브젝트를 추출할 수도 있다.
다음으로 투명 오브젝트 검출부(120)는 밝기 영상(411)과 깊이 영상(412)을 이용하여 입력 영상(410)을 복수의 세그먼트(421)로 분할할 수 있다. 이때, 분할된 영상(420)은 반사광에 따라 하나의 오브젝트가 복수의 세그먼트(321)로 분할된 영상일 수 있다.
그 다음으로 투명 오브젝트 검출부(120)는 분할한 세그먼트들 중에서 인접한 세그먼트 쌍 간의 깊이 영상 및 밝기 영상의 차이를 학습한 특징과 비교하여 해당 세그먼트들이 투명 오브젝트와 관련될 가능성(Likelihood)을 결정할 수 있다. 이때, 투명 오브젝트 검출부(120)는 가능성에 따라 세그먼트의 색상을 다르게 표시한 영상(430)을 생성할 수 있다. 예를 들어 투명 오브젝트 검출부(120)는 투명 오브젝트와 관련될 가능성이 높은 세그먼트(431)는 밝은 색으로 표시하고, 투명 오브젝트와 관련될 가능성이 낮은 세그먼트(432)는 어두운 색으로 표시할 수 있다.
마지막으로, 투명 오브젝트 검출부(120)는 결정한 가능성을 이용하여 전역적인 최적화 기법 또는 결정한 가능성에 기초한 지역적인 최적화 기법 중 어느 하나의 기법을 이용하여 투명 오브젝트(441)를 검출한 영상(440)을 생성할 수 있다.
도 5는 일실시예에 따른 영상 처리 장치를 도시한 도면이다.
도 5의 영상 처리 장치(500)는 도 1의 특징 학습부(110)와 동일한 구성일 수 있다.
도 5를 참고하면, 영상 처리 장치(500)는 영상 분할부(510)와 그룹 결정부(520) 및 학습부(530)를 포함할 수 있다.
영상 분할부(510)는 테스트 영상을 복수의 세그먼트들로 분할할 수 있다. 이때, 영상 분할부(510)는 입력 영상에 포함된 깊이 영상, 및 밝기 영상 중 적어도 하나를 이용하여 입력 영상을 분할할 수 있다.
그룹 결정부(520)는 영상 분할부(510)가 분할한 복수의 세그먼트들에 중에서 인접한 세그먼트 쌍이 속하는 투명 속성과 관련된 그룹을 결정할 수 있다.
이때, 그룹 결정부(520)는 테스트 영상의 투명 오브젝트와 관련된 정보를 이용하여 세그먼트 쌍 중 적어도 하나가 투명 오브젝트와 관련되었는지 여부를 판단하고, 판단 결과에 따라 세그먼트 쌍이 속하는 그룹을 결정할 수 있다.
예를 들어, 그룹 결정부(520)는 인접한 세그먼트 쌍 중 적어도 하나가 투명 오브젝트에 대응하는 경우, 해당 세그먼트 쌍들을 포지티브 샘플(Positive Sample) 그룹으로 결정할 수 있다. 또한, 그룹 결정부(520)는 인접한 세그먼트 쌍들이 모두 투명 오브젝트와 대응하지 않는 경우, 해당 세그먼트 쌍을 네거티브 샘플(Negative Sample) 그룹으로 결정할 수 있다.
학습부(530)는 세그먼트 쌍이 속하는 그룹을 기초로 세그먼트 쌍과 관련된 특징을 추출하는 학습 과정을 수행할 수 있다.
구체적으로 학습부(530)는 포지티브 그룹에 포함된 세그먼트 쌍들 간에 깊이 영상과 밝기 영상의 변화를 측정하여 공통된 특징을 포지티브 그룹의 특징으로 추출할 수 있다. 또한, 네거티브 그룹에 포함된 세그먼트 쌍들 간에 깊이 영상과 밝기 영상의 변화를 측정하여 공통된 특징을 네거티브 그룹의 특징으로 추출할 수 있다.
예를 들어, 제1 세그먼트와 제2 세그먼트가 포지티브 그룹인 경우, 제1 세그먼트의 진폭 정보와 제2 세그먼트의 진폭 정보의 차이 및 제1 세그먼트의 깊이 정보와 및 깊이 정보 간의 차이가 0보다 클 수 있다. 또한, 제1 세그먼트와 제2 세그먼트가 네거티브 그룹인 경우, 제1 세그먼트의 진폭 정보와 제2 세그먼트의 진폭 정보의 차이 및 제1 세그먼트의 깊이 정보와 및 깊이 정보 간의 차이가 0에 근접할 수 있다. 이때, 학습부(530)는 제1 세그먼트와 제2 세그먼트가 포지티브 그룹인 경우, 제1 세그먼트의 진폭 정보와 제2 세그먼트의 진폭 정보의 차이 및 제1 세그먼트의 깊이 정보와 및 깊이 정보 간의 차이를 특징으로 추출할 수 있다.
또한, 제1 세그먼트와 제2 세그먼트가 포지티브 그룹인 경우, 제1 세그먼트와 제2 세그먼트의 진폭 정보가 제1 세그먼트와 제2 세그먼트의 거리 정보와 비례 관계가 아닐 수 있다. 따라서, 학습부(530)는 제1 세그먼트와 제2 세그먼트의 진폭 정보와 제1 세그먼트와 제2 세그먼트의 거리 정보 간의 비례 관계 여부를 특징으로 추출할 수 있다.
이때, 학습부(530)는 추출한 특징을 이용하여 포지티브 그룹과 네거티브 그룹에 특징값을 계산하여 각각 히스토그램 분포를 결정하고, 네거티브 그룹의 히스토그램의 분포와 포지티브 그룹의 히스토그램의 분포가 다른 경우, 해당 특징을 포지티브 샘플과 네거티브 샘플을 식별하는 특징으로 학습할 수 있다.
그리고, 학습부(530)는 추출하거나 결정한 특징들을 이용하여 분류기 (Classifier)를 학습할 수 있다. 예를 들어, 분류기는 서포트 벡터 머신(Support Vector Machine), 뉴럴 네트워크(Neural Network) 중 하나일 수 있으며, 분류기는 클래스 레벨(Class Label), 클래스 프라버빌리티(Class Probability) 및 클래스 랭크(Class Rank)와 같은 분류 함수를 이용할 수 있다. 이때, 분류 함수는 세그먼트 쌍이 포지티브 그룹에 가까울수록 양수의 값을 나타내고 네거티브 그룹에 가까울수록 음수의 값을 나타내도록 할 수 있다. 그리고, N개의 특징을 이용하여 학습한 결과로 생성되는 분류기의 분류 함수(Classification Function)를 L(F1, F2, ... FN)으로 나타낼 수 있다.
또한, 학습부(530)는 복수의 특징을 하나의 특징 벡터 (Feature Vector)로 구성하여 분류기를 학습할 수도 있고, 각각의 특징을 독립적으로 학습할 수도 있다.
도 6은 일실시예에 따라 하나의 오브젝트를 복수의 세그먼트로 분할한 일례이다.
도 6에 도시된 바와 같이 투명 오브젝트(600) 안에 위치한 i번째 세그먼트(610)는 인접한 세그먼트들이 모두 투명 세그먼트일 수 있다. 따라서, i번째 세그먼트(610)와 관련된 특징은 투명 세그먼트들 간의 특징일 수 있다.
이때, i번째 세그먼트(610)와 인접한 세그먼트의 밝기 값이 i번째 세그먼트(610)의 밝기 값보다 큰 경우, i번째 세그먼트(610)와 인접한 세그먼트의 깊이 값도 i번째 세그먼트(610)의 깊이 값보다 클 수 있다.
따라서, i번째 세그먼트(610)와 관련된 특징 F1　은 0보다 클 수 있다.
Figure 112012086745658-pat00011
이때, Ai　와 Di는 각각 i번째 세그먼트의 밝기와 깊이 값을 의미하며 Ωi는 i번째 세그먼트와 인접한 세그먼트들을 집합일 수 있다. 또한, j는 도 6에서 i번째 세그먼트(610)와 인접한 세그먼트에 표시된 숫자일 수 있다.
그리고, 세그먼트들 각각의 밝기 값과 깊이 값은 세그먼트에 포함된 픽셀의 평균 값, 또는 중앙 값(Median Value)일 수 있다.
또한, i번째 세그먼트(610)가 투명 오브젝트(600)의 내부에 있지 않을 경우, i번째 세그먼트(610)의 밝기 값 및 깊이 값과 i번째 세그먼트(610)와 인접한 세그먼트의 밝기 값 및 깊이 값 간에 특정한 상관관계가 존재하지 않으므로 F1　은 0에 가까운 값을 가질 수 있다.
따라서, 학습부(530)는 F1　을 기준값보다 0에 가까운 경우, i번째 세그먼트(610)가 투명 오브젝트(600)의 내부에 있지 않은 것을 나타냄으로써, 투명 물체와 불투명 물체를 구별하는 특징으로 학습할 수 있다.
또한, 출력광이 투명 오브젝트를 투과할 경우, 출력광의 일부는 투명 오브젝트 혹은 배경에 의하여 흡수될 수 있다. 그러므로, 배경에서 투명 오브젝트로 넘어가는 경계에서 밝기의 감쇄가 발생할 수 있다.
예를 들어, i번째 세그먼트와 인접한 k번째 세그먼트의 깊이 값이 i번째 세그먼트의 깊이 값보다 큰 경우, k번째 세그먼트의 밝기 값 Ak　가 i번째 세그먼트의 밝기 값 Ai　보다 클 수 있다.
따라서, 학습부(530)는 수학식 9에 따른 특징 F2　를 투명과 불투명의 경계를 설명하는 특징으로 학습할 수 있다.
Figure 112012086745658-pat00012
도 7은 일실시예에서 특징을 학습하는 과정의 일례이다.
그룹 결정부(520)는 제1 세그먼트(710)과 제2 세그먼트(711)가 투명 오브젝트와 대응하지 않는 경우, 제1 세그먼트(710)과 제2 세그먼트(711)의 쌍을 네거티브 샘플(Negative Sample) 그룹으로 결정할 수 있다.
또한, 그룹 결정부(520)는 제3 세그먼트(720)과 제4 세그먼트(721)가 투명 오브젝트에 대응하는 경우, 제3 세그먼트(720)과 제4 세그먼트(721)의 쌍을 포지티브 샘플(Positive Sample) 그룹으로 결정할 수 있다.
이때, 학습부(530)는 제1 세그먼트(710)과 제2 세그먼트(711) 간에 깊이 영상과 밝기 영상의 변화를 측정하여 공통된 특징을 추출함으로써, 불투명 세그먼트들 간의 경계(712)를 식별할 수 있는 특징을 학습할 수 있다.
또한, 학습부(530)는 제3 세그먼트(720)과 제4 세그먼트(721) 간에 깊이 영상과 밝기 영상의 변화를 측정하여 공통된 특징을 추출함으로써, 투명 세그먼트들 간의 경계(722)를 식별할 수 있는 특징을 학습할 수 있다.
도 8은 일실시예에서 학습한 특징의 히스토그램의 일례이다.
학습부(530)는 세그먼트 쌍들에 대하여 특징 F1　를 계산하는 경우, 도 8에 도시된 바와 같이 포지티브 그룹의 히스토그램 분포(810)와 네거티브 그룹의 히스토그램 분포(820)를 결정할 수 있다.
이때, 포지티브 그룹의 히스토그램 분포(810)은 도 8에 도시된 바와 같이 0에서 일정 이상의 값에 분포되어 있으며, 네거티브 그룹의 히스토그램 분포(820)는 0에 근접한 값들로 분포되어 상이할 수 있다.
따라서, 학습부(530)는 특징 F1　을 포지티브 샘플과 네거티브 샘플을 식별하는 특징으로 학습할 수 있다.
도 9는 일실시예에 따른 영상 처리 장치를 도시한 도면이다.
도 9의 영상 처리 장치(900)는 도 1의 투명 오브젝트 검출부(120)와 동일한 구성일 수 있다.
도 9를 참고하면, 영상 처리 장치(900)는 영상 분할부(910)와 가능성 결정부(920) 및 오브젝트 검출부(930)를 포함할 수 있다.
영상 분할부(910)는 입력 영상을 복수의 세그먼트들로 분할할 수 있다. 이때, 영상 분할부(910)는 입력 영상에 포함된 깊이 영상, 및 밝기 영상 중 적어도 하나를 이용하여 입력 영상을 분할할 수 있다.
가능성 결정부(920)는 영상 분할부(910)가 분할한 복수의 세그먼트들에서 인접한 세그먼트들 간 투명 오브젝트가 존재할 가능성(likelihood)을 결정할 수 있다.
이때, 가능성 결정부(920)는 인접한 세그먼트들로 구성된 세그먼트 쌍이 투명 속성과 관련된 그룹에 속하는 정도를 결정할 수 있다. 이때, 투명 속성과 관련된 그룹은 적어도 하나의 세그먼트가 투명인 세그먼트 쌍을 포함할 수 있다.
또한, 가능성 결정부(920)는 특징 추출과 관련된 학습 모델을 이용하여 인접한 세그먼트들로 구성된 세그먼트 쌍이 투명 속성과 관련된 그룹에 속하는 정도를 결정할 수 있다. 구체적으로 가능성 결정부(920)는 특징 학습부(110) 또는 영상 처리 장치(500)의 분류기에 포함된 분류 함수 L(F1,F2,...FN)를 이용하여 세그먼트 쌍이 포지티브 그룹에 포함될 확률(Likelihood)를 결정할 수 있다.
이때, 세그먼트 쌍이 포지티브 그룹에 포함될 확률이 증가할수록, 세그먼트 쌍이 네거티브 그룹에 포함될 확률이 감소할 수 있다. 따라서, 가능성 결정부(920)는 세그먼트 쌍이 포지티브 그룹에 포함될 확률을 이용하여 세그먼트 쌍이 네거티브 그룹에 포함될 확률을 결정할 수도 있다. 예를 들어, 세그먼트 쌍이 포지티브 그룹에 포함될 확률이 30%인 경우, 가능성 결정부(920)는 세그먼트 쌍이 네거티브 그룹에 포함될 확률을 70%로 결정할 수 있다.
그리고, 가능성 결정부(920)는 세그먼트 쌍이 포지티브 그룹에 속하는 확률과, 세그먼트 쌍이 네거티브 그룹에 속하는 확률에 따라 세그먼트의 색상을 다르게 표시할 수도 있다. 예를 들어, 가능성 결정부(920)는 포지티브 그룹에 속하는 확률에 높을수록 세그먼트의 색상을 밝게 표시하고, 네거티브 그룹에 속하는 확률이 높을수록 세그먼트의 색상을 어둡게 표시할 수 있다.
오브젝트 검출부(930)는 가능성 결정부(920)가 결정한 가능성에 기초하여 입력 영상에서 투명 오브젝트를 검출할 수 있다.
이때, 오브젝트 검출부(930)는 가능성에 기초한 전역적인 최적화 기법 또는 가능성에 기초한 지역적인 최적화 기법 중 어느 하나의 기법을 이용하여 투명 오브젝트를 검출할 수 있다.
가능성에 기초한 전역적인 최적화 기법을 이용할 경우, 오브젝트 검출부(930)는 세그먼트들을 각각 그래프(Graph)의 노드로 설정하고, 가능성들을 노드들 사이의 가중치로 설정하여 투명 오브젝트를 검출할 수 있다.
또한, 오브젝트 검출부(930)는 가능성이 50%이하인 세그먼트들 간의 경계만을 침투(Penetration)하도록 설정한 커브 진화(Curve Evolution) 알고리즘을 이용하여 투명 오브젝트의 외곽선(Contour)을 추출할 수 있다.
가능성에 기초한 지역적인 최적화 기법을 이용할 경우, 오브젝트 검출부(930)는 가능성을 기초로 세그먼트들 중 하나를 선택하여 투명 영역의 시작점(Initial Seed)으로 설정하고, 상기 가능성이 높은 순서로 시작점에 세그먼트를 병합하여 투명 오브젝트를 검출할 수 있다.
도 10은 일실시예에 따라 세그먼트들을 그래프로 나타낸 일례이다.
가능성 결정부(920)는 포지티브 그룹에 속하는 가능성에 높은 세그먼트(1001)의 색상을 밝게 표시하고, 네거티브 그룹에 속하는 확률이 높은 세그먼트(1002)의 색상을 어둡게 표시할 수 있다.
가능성에 기초한 전역적인 최적화 기법을 이용할 경우, 오브젝트 검출부(930)는 세그먼트(1010)들 각각을 그래프(Graph)의 노드(Node) 로 설정하고, 세그먼트 쌍의 가능성(Likelihood)(1011)을 노드 사이의 가중치(Weight)로 설정할 수 있다. 그 다음, 오브젝트 검출부(930)는 그래프(Graph) 기반 최적화 방식을 이용하여 투명 오브젝트를 추출할 수 있다. 예를 들어, 그래프(Graph) 기반 최적화 방식은 그래프 컷(Graph Cut) 알고리즘일 수 있다.
가능성에 기초한 지역적인 최적화 기법을 이용할 경우, 오브젝트 검출부(930)는 세그먼트(1010) 각각과 다른 세그먼트들 간의 가능성(1011)의 합을 계산하고, 상기 합이 가장 큰 세그먼트를 투명 영역의 시작점 (Initial Seed)로 설정할 수 있다. 다음으로 오브젝트 검출부(930)는 시작점으로 설정한 세그먼트의 주변 세그먼트들을 가능성(1011)이 높은 순서에 따라 순차적으로 병합하여 투명 영역을 확장 (Region Growing)함으로써 입력 영상에서 투명 오브젝트를 검출할 수 있다.
도 11은 일실시예에 따른 영상 처리 방법을 도시한 도면이다.
도 11은 영상 처리 장치(100)가 수행하는 영상 처리 방법을 도시한 순서도이다.
단계(1110)에서 특징 학습부(110)는 테스트 영상을 이용하여 투명 오브젝트와 관련된 특징을 추출하는 학습 과정을 수행할 수 있다.
구체적으로, 특징 학습부(110)는 테스트 영상을 복수의 세그먼트들로 분할하고, 분할한 세그먼트들 중에서 인접한 세그먼트 쌍이 속하는 투명 속성과 관련된 그룹을 결정할 수 있다. 이때, 특징 학습부(110)는 테스트 영상의 투명 오브젝트와 관련된 정보를 이용하여 세그먼트 쌍 중 적어도 하나가 투명 오브젝트와 관련되었는지 여부를 판단하고, 판단 결과에 따라 세그먼트 쌍이 속하는 그룹을 결정할 수 있다. 다음으로 특징 학습부(110)는 세그먼트 쌍이 속하는 그룹을 기초로 세그먼트 쌍과 관련된 특징을 추출할 수 있다.
특징 학습부(110)가 특징을 학습하는 과정은 이하 도 12를 참조로 상세히 설명한다.
단계(1120)에서 투명 오브젝트 검출부(120)는 단계(1110)에서 학습한 특징을 이용하여 입력 영상의 세그먼트들이 투명 오브젝트와 관련될 가능성을 결정하고, 결정한 가능성을 이용하여 입력 영상에서 투명 오브젝트를 검출할 수 있다.
구체적으로 투명 오브젝트 검출부(120)는 입력 영상을 복수의 세그먼트들로 분할하고, 분할한 세그먼트들 중에서 인접한 세그먼트 쌍 간의 깊이 영상 및 밝기 영상의 차이를 학습한 특징과 비교하여 해당 세그먼트들이 투명 오브젝트와 관련될 가능성을 결정할 수 있다. 다음으로, 투명 오브젝트 검출부(120)는 결정한 상기 가능성에 기초한 전역적인 최적화 기법 또는 결정한 가능성에 기초한 지역적인 최적화 기법 중 어느 하나의 기법을 이용하여 투명 오브젝트를 검출할 수 있다.
투명 오브젝트 검출부(120)가 투명 오브젝트를 검출하는 과정은 이하 도 13를 참조로 상세히 설명한다.
도 12는 일실시예에 따른 영상 처리 방법을 도시한 도면이다.
도 12는 영상 처리 장치(100)의 특징 학습부(110), 또는 영상 처리 장치(500)가 수행하는 영상 처리 방법을 도시한 순서도이다. 또한, 도 12의 단계(1210) 내지 단계(1230)은 도 11의 단계(1110)에 포함될 수 있다.
단계(1210)에서 영상 분할부(510)는 테스트 영상을 복수의 세그먼트들로 분할할 수 있다. 이때, 영상 분할부(510)는 입력 영상에 포함된 깊이 영상, 및 밝기 영상 중 적어도 하나를 이용하여 입력 영상을 분할할 수 있다.
단계(1210)에서 그룹 결정부(520)는 단계(1220)에서 분할한 복수의 세그먼트들에 중에서 인접한 세그먼트 쌍이 속하는 투명 속성과 관련된 그룹을 결정할 수 있다. 이때, 그룹 결정부(520)는 테스트 영상의 투명 오브젝트와 관련된 정보를 이용하여 세그먼트 쌍 중 적어도 하나가 투명 오브젝트와 관련되었는지 여부를 판단하고, 판단 결과에 따라 세그먼트 쌍이 속하는 그룹을 결정할 수 있다.
단계(1230)에서 학습부(530)는 세그먼트 쌍이 속하는 그룹을 기초로 세그먼트 쌍과 관련된 특징을 추출하는 학습 과정을 수행할 수 있다. 구체적으로 학습부(530)는 포지티브 그룹에 포함된 세그먼트 쌍들 간에 깊이 영상과 밝기 영상의 변화를 측정하여 공통된 특징을 포지티브 그룹의 특징으로 추출할 수 있다. 또한, 네거티브 그룹에 포함된 세그먼트 쌍들 간에 깊이 영상과 밝기 영상의 변화를 측정하여 공통된 특징을 네거티브 그룹의 특징으로 추출할 수 있다.
이때, 학습부(530)는 추출한 특징을 이용하여 포지티브 그룹과 네거티브 그룹에 특징값을 계산하여 각각 히스토그램 분포를 결정하고, 네거티브 그룹의 히스토그램의 분포와 포지티브 그룹의 히스토그램의 분포가 다른 경우, 해당 특징을 포지티브 샘플과 네거티브 샘플을 식별하는 특징으로 학습할 수 있다.
그리고, 학습부(530)는 추출하거나 결정한 특징들을 이용하여 분류기 (Classifier)를 학습할 수 있다. 또한, 학습부(530)는 복수의 특징을 하나의 특징 벡터 (Feature Vector)로 구성하여 분류기를 학습할 수도 있고, 각각의 특징을 독립적으로 학습할 수도 있다.
도 13은 일실시예에 따른 영상 처리 방법을 도시한 도면이다.
도 13은 영상 처리 장치(100)의 투명 오브젝트 검출부(110), 또는 영상 처리 장치(900)가 수행하는 영상 처리 방법을 도시한 순서도이다. 또한, 도 13의 단계(1310) 내지 단계(1330)은 도 11의 단계(1120)에 포함될 수 있다.
단계(1310)에서 영상 분할부(910)는 입력 영상을 복수의 세그먼트들로 분할할 수 있다. 이때, 영상 분할부(910)는 입력 영상에 포함된 깊이 영상, 및 밝기 영상 중 적어도 하나를 이용하여 입력 영상을 분할할 수 있다.
단계(1320)에서 가능성 결정부(920)는 단계(1310)에서 분할한 복수의 세그먼트들에서 인접한 세그먼트들 간 투명 오브젝트가 존재할 가능성(likelihood)을 결정할 수 있다. 이때, 가능성 결정부(920)는 도 11의 단계(1110), 또는 도 12의 단계(1230)에서 분류기에 포함된 분류 함수 L(F 1 ,F 2 ,...F N )를 이용하여 세그먼트 쌍이 포지티브 그룹에 포함될 확률(Likelihood)를 결정할 수 있다.
단계(1330)에서 오브젝트 검출부(930)는 단계(1320)에서 결정한 가능성에 기초하여 입력 영상에서 투명 오브젝트를 검출할 수 있다. 이때, 오브젝트 검출부(930)는 가능성에 기초한 전역적인 최적화 기법 또는 가능성에 기초한 지역적인 최적화 기법 중 어느 하나의 기법을 이용하여 투명 오브젝트를 검출할 수 있다.
가능성에 기초한 전역적인 최적화 기법을 이용할 경우, 오브젝트 검출부(930)는 세그먼트들을 각각 그래프(Graph)의 노드로 설정하고, 가능성들을 노드들 사이의 가중치로 설정하여 투명 오브젝트를 검출할 수 있다.
가능성에 기초한 지역적인 최적화 기법을 이용할 경우, 오브젝트 검출부(930)는 가능성을 기초로 세그먼트들 중 하나를 선택하여 투명 영역의 시작점(Initial Seed)으로 설정하고, 상기 가능성이 높은 순서로 시작점에 세그먼트를 병합하여 투명 오브젝트를 검출할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
　
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 영상 처리 장치
110: 특징 학습부
120: 투명 오브젝트 검출부
510: 영상 분할부
520: 그룹 결정부
530: 학습부
910: 영상 분할부
920: 가능성 결정부
930: 오브젝트 검출부

Claims (28)

  1. 입력 영상을 복수의 세그먼트들로 분할하는 영상 분할부;
    상기 복수의 세그먼트들에서 인접한 세그먼트들 간 투명 오브젝트가 존재할 가능성(likelihood)을 결정하는 가능성 결정부; 및
    상기 가능성에 기초하여 상기 입력 영상에서 투명 오브젝트를 검출하는 오브젝트 검출부
    를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 영상 분할부는,
    입력 영상에 포함된 깊이 영상, 및 밝기 영상 중 적어도 하나를 이용하여 입력 영상을 분할하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 가능성 결정부는,
    인접한 세그먼트들로 구성된 세그먼트 쌍이 투명 속성과 관련된 그룹에 속하는 정도를 결정하고,
    상기 투명 속성과 관련된 그룹은,
    적어도 하나의 세그먼트가 투명인 세그먼트 쌍을 포함하는 영상 처리 장치.
  4. 제1항에 있어서,
    상기 가능성 결정부는,
    특징 추출과 관련된 학습 모델을 이용하여 인접한 세그먼트들로 구성된 세그먼트 쌍이 투명 속성과 관련된 그룹에 속하는 정도를 결정하고,
    상기 투명 속성과 관련된 그룹은,
    적어도 하나의 세그먼트가 투명인 세그먼트 쌍을 포함하는 영상 처리 장치.
  5. 제4항에 있어서,
    상기 학습 모델은,
    테스트 영상을 통해 인접한 세그먼트들 쌍들 각각의 진폭 및 깊이에 기초한 특징을 추출하는 영상 처리 장치.
  6. 제1항에 있어서,
    상기 오브젝트 검출부는,
    상기 가능성에 기초한 전역적인 최적화 기법 또는 상기 가능성에 기초한 지역적인 최적화 기법 중 어느 하나의 기법을 이용하여 투명 오브젝트를 검출하는 영상 처리 장치.
  7. 테스트 영상을 복수의 세그먼트들로 분할하는 영상 분할부;
    상기 복수의 세그먼트들에 중에서 인접한 세그먼트 쌍이 속하는 투명 속성과 관련된 그룹을 결정하는 그룹 결정부; 및
    세그먼트 쌍이 속하는 그룹을 기초로 세그먼트 쌍과 관련된 특징을 추출하는 학습 과정을 수행하는 학습부
    를 포함하고,
    상기 투명 속성과 관련된 그룹은,
    적어도 하나의 세그먼트가 투명인 세그먼트 쌍을 포함하는 영상 처리 장치.
  8. 제7항에 있어서,
    상기 그룹 결정부는,
    테스트 영상의 투명 오브젝트와 관련된 정보를 이용하여 세그먼트 쌍 중 적어도 하나가 투명 오브젝트와 관련되었는지 여부를 판단하고, 판단 결과에 따라 세그먼트 쌍이 속하는 그룹을 결정하는 영상 처리 장치
  9. 테스트 영상을 이용하여 투명 오브젝트와 관련된 특징을 추출하는 학습 과정을 수행하는 특징 학습부; 및
    학습한 특징을 이용하여 입력 영상의 세그먼트들이 투명 오브젝트와 관련될 가능성을 결정하고, 결정한 가능성을 이용하여 입력 영상에서 투명 오브젝트를 검출하는 투명 오브젝트 검출부
    를 포함하는 영상 처리 장치.
  10. 제9항에 있어서,
    상기 특징 학습부는,
    테스트 영상을 복수의 세그먼트들로 분할하는 영상 분할부;
    상기 복수의 세그먼트들에 중에서 인접한 세그먼트 쌍이 속하는 투명 속성과 관련된 그룹을 결정하는 그룹 결정부; 및
    세그먼트 쌍이 속하는 그룹을 기초로 세그먼트 쌍과 관련된 특징을 추출하는 학습 과정을 수행하는 학습부
    를 포함하고,
    상기 투명 속성과 관련된 그룹은,
    적어도 하나의 세그먼트가 투명인 세그먼트 쌍을 포함하는 영상 처리 장치.
  11. 제10항에 있어서,
    상기 그룹 결정부는,
    테스트 영상의 투명 오브젝트와 관련된 정보를 이용하여 세그먼트 쌍 중 적어도 하나가 투명 오브젝트와 관련되었는지 여부를 판단하고, 판단 결과에 따라 세그먼트 쌍이 속하는 그룹을 결정하는 영상 처리 장치
  12. 제9항에 있어서,
    상기 투명 오브젝트 검출부는,
    입력 영상을 복수의 세그먼트들로 분할하는 영상 분할부;
    상기 복수의 세그먼트들에서 인접한 세그먼트들 간 투명 오브젝트가 존재할 가능성(likelihood)을 결정하는 가능성 결정부; 및
    상기 가능성에 기초하여 상기 입력 영상에서 투명 오브젝트를 검출하는 오브젝트 검출부
    를 포함하는 영상 처리 장치.
  13. 제12항에 있어서,
    상기 영상 분할부는,
    입력 영상에 포함된 깊이 영상, 및 밝기 영상 중 적어도 하나를 이용하여 입력 영상을 분할하는 영상 처리 장치.
  14. 제12항에 있어서,
    상기 오브젝트 검출부는,
    상기 가능성에 기초한 전역적인 최적화 기법 또는 상기 가능성에 기초한 지역적인 최적화 기법 중 어느 하나의 기법을 이용하여 투명 오브젝트를 검출하는 영상 처리 장치.
  15. 입력 영상을 복수의 세그먼트들로 분할하는 단계;
    상기 복수의 세그먼트들에서 인접한 세그먼트들 간 투명 오브젝트가 존재할 가능성(likelihood)을 결정하는 단계; 및
    상기 가능성에 기초하여 상기 입력 영상에서 투명 오브젝트를 검출하는 단계
    를 포함하는 영상 처리 방법.
  16. 제15항에 있어서,
    상기 분할하는 단계는,
    입력 영상에 포함된 깊이 영상, 및 밝기 영상 중 적어도 하나를 이용하여 입력 영상을 분할하는 영상 처리 방법.
  17. 제15항에 있어서,
    상기 가능성을 결정하는 단계는,
    인접한 세그먼트들로 구성된 세그먼트 쌍이 투명 속성과 관련된 그룹에 속하는 정도를 결정하고,
    상기 투명 속성과 관련된 그룹은,
    적어도 하나의 세그먼트가 투명인 세그먼트 쌍을 포함하는 영상 처리 방법.
  18. 제15항에 있어서,
    상기 가능성을 결정하는 단계는,
    특징 추출과 관련된 학습 모델을 이용하여 인접한 세그먼트들로 구성된 세그먼트 쌍이 투명 속성과 관련된 그룹에 속하는 정도를 결정하고,
    상기 투명 속성과 관련된 그룹은,
    적어도 하나의 세그먼트가 투명인 세그먼트 쌍을 포함하는 영상 처리 방법.
  19. 제18항에 있어서,
    상기 학습 모델은,
    테스트 영상을 통해 인접한 세그먼트들 쌍들 각각의 진폭 및 깊이에 기초한 특징을 추출하는 영상 처리 방법.
  20. 제15항에 있어서,
    상기 투명 오브젝트를 검출하는 단계는,
    상기 가능성에 기초한 전역적인 최적화 기법 또는 상기 가능성에 기초한 지역적인 최적화 기법 중 어느 하나의 기법을 이용하여 투명 오브젝트를 검출하는 영상 처리 방법.
  21. 테스트 영상을 복수의 세그먼트들로 분할하는 단계;
    상기 복수의 세그먼트들에 중에서 인접한 세그먼트 쌍이 속하는 투명 속성과 관련된 그룹을 결정하는 단계; 및
    세그먼트 쌍이 속하는 그룹을 기초로 세그먼트 쌍과 관련된 특징을 추출하는 학습 과정을 수행하는 단계
    를 포함하고,
    상기 투명 속성과 관련된 그룹은,
    적어도 하나의 세그먼트가 투명인 세그먼트 쌍을 포함하는 영상 처리 방법.
  22. 제21항에 있어서,
    상기 그룹을 결정하는 단계는,
    테스트 영상의 투명 오브젝트와 관련된 정보를 이용하여 세그먼트 쌍 중 적어도 하나가 투명 오브젝트와 관련되었는지 여부를 판단하고, 판단 결과에 따라 세그먼트 쌍이 속하는 그룹을 결정하는 영상 처리 방법
  23. 테스트 영상을 이용하여 투명 오브젝트와 관련된 특징을 추출하는 학습 과정을 수행하는 단계; 및
    학습한 특징을 이용하여 입력 영상의 세그먼트들이 투명 오브젝트와 관련될 가능성을 결정하고, 결정한 가능성을 이용하여 입력 영상에서 투명 오브젝트를 검출하는 단계
    를 포함하는 영상 처리 방법.
  24. 제23항에 있어서,
    상기 학습 과정을 수행하는 단계는,
    테스트 영상을 복수의 세그먼트들로 분할하는 단계;
    상기 복수의 세그먼트들에 중에서 인접한 세그먼트 쌍이 속하는 투명 속성과 관련된 그룹을 결정하는 단계; 및
    세그먼트 쌍이 속하는 그룹을 기초로 세그먼트 쌍과 관련된 특징을 추출하는 학습 과정을 수행하는 단계
    를 포함하고,
    상기 투명 속성과 관련된 그룹은,
    적어도 하나의 세그먼트가 투명인 세그먼트 쌍을 포함하는 영상 처리 방법.
  25. 제24항에 있어서,
    상기 그룹을 결정하는 단계는,
    테스트 영상의 투명 오브젝트와 관련된 정보를 이용하여 세그먼트 쌍 중 적어도 하나가 투명 오브젝트와 관련되었는지 여부를 판단하고, 판단 결과에 따라 세그먼트 쌍이 속하는 그룹을 결정하는 영상 처리 방법
  26. 제23항에 있어서,
    상기 투명 오브젝트를 검출하는 단계는,
    입력 영상을 복수의 세그먼트들로 분할하는 단계;
    상기 복수의 세그먼트들에서 인접한 세그먼트들 간 투명 오브젝트가 존재할 가능성(likelihood)을 결정하는 단계; 및
    상기 가능성에 기초하여 상기 입력 영상에서 투명 오브젝트를 검출하는 단계
    를 포함하는 영상 처리 방법.
  27. 제26항에 있어서,
    상기 분할하는 단계는,
    입력 영상에 포함된 깊이 영상, 및 밝기 영상 중 적어도 하나를 이용하여 입력 영상을 분할하는 영상 처리 방법.
  28. 제15항 내지 제27항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 할 수 있는 기록 매체.
KR1020120118406A 2012-10-24 2012-10-24 영상에서 투명 오브젝트를 검출하는 영상 처리 장치 및 방법 KR101932595B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120118406A KR101932595B1 (ko) 2012-10-24 2012-10-24 영상에서 투명 오브젝트를 검출하는 영상 처리 장치 및 방법
US13/888,803 US9349075B2 (en) 2012-10-24 2013-05-07 Image processing apparatus and method for detecting transparent object in image
US15/151,866 US10204287B2 (en) 2012-10-24 2016-05-11 Image processing apparatus and method for detecting transparent object in image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120118406A KR101932595B1 (ko) 2012-10-24 2012-10-24 영상에서 투명 오브젝트를 검출하는 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140052365A KR20140052365A (ko) 2014-05-07
KR101932595B1 true KR101932595B1 (ko) 2018-12-26

Family

ID=50485368

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120118406A KR101932595B1 (ko) 2012-10-24 2012-10-24 영상에서 투명 오브젝트를 검출하는 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (2) US9349075B2 (ko)
KR (1) KR101932595B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101932595B1 (ko) * 2012-10-24 2018-12-26 삼성전자주식회사 영상에서 투명 오브젝트를 검출하는 영상 처리 장치 및 방법
JP6176191B2 (ja) * 2014-06-19 2017-08-09 株式会社Ｊｖｃケンウッド 撮像装置及び赤外線画像生成方法
KR101963042B1 (ko) 2017-10-13 2019-03-27 연세대학교 산학협력단 3d 영상에서 반투명 및 투명 객체를 복원하는 장치 및 그 방법
US10692184B2 (en) 2018-07-05 2020-06-23 SVXR, Inc. Super-resolution X-ray imaging method and apparatus
CN109633661A (zh) * 2018-11-28 2019-04-16 杭州凌像科技有限公司 一种基于rgb-d传感器与超声波传感器融合的玻璃检测系统和方法
EP3895120A4 (en) * 2018-12-10 2022-08-24 Voxeleron LLC SYSTEM AND METHOD FOR OBTAINING MEASUREMENTS FROM IMAGING DATA
CN113743439A (zh) * 2020-11-13 2021-12-03 北京沃东天骏信息技术有限公司 目标检测方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015814A (ja) 2006-07-06 2008-01-24 Megachips System Solutions Inc 画像解析装置および対象物認識方法
JP2009008453A (ja) 2007-06-26 2009-01-15 Panasonic Electric Works Co Ltd 物体識別方法、物体識別装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5176731A (en) * 1987-06-10 1993-01-05 U.S. Philips Corp. Device for performing measurements on a transparent object, method of manufacturing a fiber and fiber manufactured by means of said method
TW384603B (en) * 1998-09-28 2000-03-11 Acer Peripherals Inc Reflective-type/penetrative-type scanning means
JP3466173B2 (ja) 2000-07-24 2003-11-10 株式会社ソニー・コンピュータエンタテインメント 画像処理システム、デバイス、方法及びコンピュータプログラム
US6839403B1 (en) * 2000-07-24 2005-01-04 Rapiscan Security Products (Usa), Inc. Generation and distribution of annotation overlays of digital X-ray images for security systems
JP3645829B2 (ja) 2001-05-14 2005-05-11 コナミ株式会社 画像の形成方法及び画像形成用のプログラム
JP3764070B2 (ja) 2001-06-07 2006-04-05 富士通株式会社 オブジェクト表示プログラムおよびオブジェクト表示装置
JP4828506B2 (ja) 2007-11-05 2011-11-30 日本電信電話株式会社 仮想視点画像生成装置、プログラムおよび記録媒体
US9070319B1 (en) * 2008-03-31 2015-06-30 Adobe Systems Incorporated Selective transformation of overlapping image objects
JP4714763B2 (ja) 2008-06-13 2011-06-29 株式会社コナミデジタルエンタテインメント 画像処理プログラム、画像処理装置、および画像制御方法
EP2387243A4 (en) 2009-01-12 2012-12-26 Lg Electronics Inc DEPTH INFORMATION USING VIDEO SIGNAL PROCESSING METHOD AND DEVICE
WO2011099404A1 (en) * 2010-02-15 2011-08-18 Ricoh Company, Ltd. Transparent object detection system and transparent flat plate detection system
KR101932595B1 (ko) * 2012-10-24 2018-12-26 삼성전자주식회사 영상에서 투명 오브젝트를 검출하는 영상 처리 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015814A (ja) 2006-07-06 2008-01-24 Megachips System Solutions Inc 画像解析装置および対象物認識方法
JP2009008453A (ja) 2007-06-26 2009-01-15 Panasonic Electric Works Co Ltd 物体識別方法、物体識別装置

Also Published As

Publication number Publication date
US20160253580A1 (en) 2016-09-01
US20140112531A1 (en) 2014-04-24
KR20140052365A (ko) 2014-05-07
US9349075B2 (en) 2016-05-24
US10204287B2 (en) 2019-02-12

Similar Documents

Publication Publication Date Title
KR101932595B1 (ko) 영상에서 투명 오브젝트를 검출하는 영상 처리 장치 및 방법
CN106355188A (zh) 图像检测方法及装置
US9142011B2 (en) Shadow detection method and device
JP6062791B2 (ja) 尤度最大化を用いたナンバープレートの文字分割
CN105913003B (zh) 一种多特征多模型的行人检测方法
CN107273910B (zh) 过滤器学习方法及利用过滤器检测测试图像中的对象的方法、学习装置及对象识别支持装置
RU2014127535A (ru) Автоматизация анализа изображения
KR102084535B1 (ko) 결함 검사 장치, 결함 검사 방법
WO2014128688A1 (en) Method, system and software module for foreground extraction
JP2016191975A (ja) 機械学習装置
US8811750B2 (en) Apparatus and method for extracting edge in image
CN102982534A (zh) 基于弦线切线法的Canny边缘检测双阈值获取方法
JP2016191966A (ja) クラスタリング装置及び機械学習装置
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
JP2016058085A (ja) 対象の遮蔽を検出する方法と装置
WO2016158768A1 (ja) クラスタリング装置及び機械学習装置
CN113516144A (zh) 目标检测方法及装置、计算设备
JP2011165170A (ja) 対象物検出装置及びプログラム
CN109543498A (zh) 一种基于多任务网络的车道线检测方法
CN110517497A (zh) 一种道路交通分类方法、装置、设备、介质
KR101556598B1 (ko) 주요 픽셀 정보에 기반한 물체 검출 장치 및 그 방법
US10679038B2 (en) Method and apparatus for determining temporal behaviour of an object in image data
Chen et al. 2d tree detection in large urban landscapes using aerial lidar data
JP2016062249A (ja) 識別辞書学習システム、認識辞書学習方法および認識辞書学習プログラム
JP6449339B2 (ja) 細胞解析装置および方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant