KR20030014252A - 실시간 비디오에 대한 자동 세그먼테이션 기반 잔디 검출 - Google Patents

실시간 비디오에 대한 자동 세그먼테이션 기반 잔디 검출 Download PDF

Info

Publication number
KR20030014252A
KR20030014252A KR1020027016173A KR20027016173A KR20030014252A KR 20030014252 A KR20030014252 A KR 20030014252A KR 1020027016173 A KR1020027016173 A KR 1020027016173A KR 20027016173 A KR20027016173 A KR 20027016173A KR 20030014252 A KR20030014252 A KR 20030014252A
Authority
KR
South Korea
Prior art keywords
color
pixel
pixels
probability
tissue
Prior art date
Application number
KR1020027016173A
Other languages
English (en)
Inventor
스테팬 헤르만
조한 잔센
에르윈 비. 벨러스
제임스 더블유. 웬드로프
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20030014252A publication Critical patent/KR20030014252A/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

비디오 이미지 내의 픽셀들은 일반적인 색상, 조직, 모양, 진폭 범위 또는 시간 변화와 같은 선택된 기준들에 기초하여 세그먼트될 수 있다. 이러한 픽셀들에 대한 색상 값들은 픽셀(10)의 색상 값이 지시된 값들의 범위에 위치할 확률을 가리키는 색상 확률 함수(104)를 계산하기 위해 사용될 수 있다. 픽셀들은 또한 픽셀(10)이 지시된 조직을 표현하는지 아닌지를 가리키는 조직 확률 함수(106)를 계산하기 위하여 사용될 수 있다. 주어진 세그먼트(14)로 할당되는 픽셀들은 이후 또한 이미지의 품질을 향상시키기 위하여 처리될 수 있다. 이러한 방법에서, 잔디, 하늘, 사람의 피부 등을 식별하는 픽셀들은 또한 만족한 표현들을 이루기 위해 식별되고 처리될 수 있다.

Description

실시간 비디오에 대한 자동 세그먼테이션 기반 잔디 검출{Automatic segmentation-based grass detection for real-time video}
텔레비전 이미지들의 세그먼테이션(segmentation)은 이미지들의 시퀀스의 각 프레임이 지역들 또는 세그먼트들로 재분할되는 처리이다. 각 세그먼트는 공동의 특성들을 갖는 이미지의 지역들을 포함하는 픽셀들의 클러스터(cluster)를 포함한다. 예를 들면 세그먼트는 공통 색상, 조직, 모양, 진폭 범위 또는 시간의 변화에의해 구별될 수 있다. 이미지 세그먼테이션의 몇몇의 공지된 방법들은 2진 결정(binary decision)이 픽셀들이 어떻게 세그먼트될 것인가를 결정하는 처리를 사용한다. 이러한 처리에 따라, 지역 내의 모든 픽셀들은 세그먼트에 대한 공통 기준들을 만족시켜 세그먼트 내에 포함되거나, 또는 기준들을 만족시키지 않아 완전히 배제된다. 이와 같은 세그먼테이션 방법들이 몇몇의 목적들에 대해 만족스럽지만, 그들은 많은 다른 것들에 대하여는 허용할 수 없다. 움직이는 이미지 시퀀스들의 경우에, 외관의 작은 변화들, 빛 또는 원근감은 이미지의 모든 외관에서 단지 작은 변화들을 초래할 것이다. 그러나, 위에서 논의된 바와 같은 세그먼테이션 방법의 활용은 다른 것에서 만족시키는 것이 실패하는 동안, 하나의 프레임의 세그먼테이션 기준들을 만족시키도록 동일하게 표현되어야 하는 이미지의 지역들을 허용하는 경향이 있다.
이미지들을 세그먼팅하는 주된 이유들 중 하나는 세그먼트된 부분들 상의 강화 동작들(enhancement operations)을 수행하기 위한 것이다. 이미지가 이전에 설명된 바와 같은, 2진 세그먼테이션 방법을 따라 세그먼트될 때, 이어서 적용된 강화 동작들은 이미지 강화에서, 일반적으로 세그먼트된 지역들의 모서리들(edges)에서 종종 랜덤 변화들을 생성시킨다. 움직이는 시퀀스들에서의 이러한 랜덤 변화들은 사용자들에게는 만족되지 않는 어지러운 아티팩트들(artifacts)을 나타낸다. 텔레비전 설정에서의 이미지 강화는 글로벌 및 로컬 방법들 모두를 포함한다. 로컬 강화 방법들이 공지된 바와 같이, 그들은 글로벌 파라메터들에 의해 쉽게 제어된다. 예를 들면, 모서리 강화 알고리즘이 로컬 모서리 특성들에 대해 적응될 수 있지만, 알고리즘을 형성하는 파라메터들(예를 들면, 필터 주파수 특성들)은 글로벌이다 - 적용되는 강화 동작들은 이미지의 모든 지역들에 대해 동일하다. 글로벌 파라메터들의 사용은 임의의 주어진 이미지로 적용될 수 있는 대부분의 효과적인 강화를 제한한다. 향상된 강화는 알고리즘이 이미지의 다른 세그먼트들에서 설명된 특성들을 인식하도록 훈련될 수 있을 때 사용가능할 것이고, 따라서, 이미지 특성의 각 타입에 대해 최적화된 이미지 강화 알고리즘들 및 파라메터들이 동적으로 선택되도록 허용할 수 있다.
본 발명은 기존 기술에서는 사용할 수 없었던 새로운 강화 기능성을 제공하기 위한 세그먼테이션과 로컬 강화를 결합시킨다.
교차 참조가 대리인 명세서 제 701397 호에 의해 확인된, Herman 등에게 제목이 "Segmentation-Based Enhancement of Television Images"인 미국 특허 출원에 공동으로 출원되었고 본 발명의 양수인에게 양도되었으며, 컨텐츠들은 그 전부가 참조로 본 명세서에 포함되었다.
본 발명은 선택된 기준들에 기초하여 픽셀들을 세그먼트하는 것에 대한 것이다. 보다 구체적으로, 본 발명은 그들의 색상 및 조직(texture)에 기초하여 픽셀들을 분류하여, 공통적인 분류를 수신하는 픽셀들의 다음 처리를 허용하는 것에 대한 것이다.
도 1은 본 발명의 실시예를 따라 선택된 기준들에 기초하여 픽셀들을 세그먼트하도록 따르게 될 단계들을 도시하는 블럭도.
도 2는 이미지의 스무스하게(smooth) 조직된 지역을 표현하는 도.
도 3은 이미지의 불연속적으로(discontinuous) 조직된 지역을 표현하는 도.
도 4는 조직 확률 함수를 계산하기 위해 픽셀들의 그룹의 주변으로 윈도우가 어떻게 그려질 수 있는지를 도시하는 도면.
도 5는 본 발명의 양상에 따라, 이미지 내의 픽셀들을 세그먼트하기 위해 사용될 수 있는 회로의 예를 도시하는 도면.
도 6은 본 발명에 따른 이미지들을 디스플레이하기 위해 어떻게 도 5의 회로가 텔레비전 시스템으로 포함될 것인가를 도시하는 도면.
발명의 한 실시예에서, 이미지 내의 픽셀들은 선택된 기준들에 기초하여 세그먼트된다. 기저대역 비디오 신호와 같은 신호는, 이미지 내의 픽셀들에 대한 색상 확률 함수를 계산하기 위해 사용된다. 이러한 색상 확률 함수는 이미지 내의 각 픽셀에 대해서, 지시된 색상을 표현하는 값들의 범위 내에 픽셀의 색상 값이 위치할 확률을 추정한다. 픽셀들은 또한 이미지의 각 픽셀에 대해서, 지시된 조직을 나타내는 확률을 추정하는 조직 확률 함수를 계산하기 위해 사용된다. 픽셀들은 이후 색상 확률 함수와 조직 확률 함수의 곱 또는 다른 조합에 기초하여 세그먼트된다.
다른 실시예에서, 색상 확률 함수는 Pcolor= exp(-(((y-y0)/⇔y)2+ ((u-u0)/⇔u)2+ ((v-v0/⇔v)2))로 정의되고 조직 확률 함수는 Ptexture= ((t/sqrt(m*t))*exp(-((t-m)/s)2)로 정의되며, 여기서 y는 픽셀 루미넌스 값을 나타내고, u 및 v는 YUV 색상 공간의 색상 좌표들을 나타내며, t는 픽셀을 둘러싼 윈도우에서의 픽셀 값 루미넌스의 평균제곱근의 변화를 나타내고, m은 함수의 피크의 위치를 설명하는 루미넌스 스케일 상의 값이며, s는 동일한 루미넌스 함수의 폭을 설명하는 동일한 루미넌스 스케일 상의 값이다.
본 발명의 다른 실시예들 및 특성들이 첨부된 도면들과 공동으로 고려된, 다음 상세한 설명으로부터 명백해질 것이다.
본 발명이 어떠한 실시예들과 연관되어 설명될 동안, 본 발명은 이러한 실시예들에 한정되지 않는다는 것이 이해된다. 이와 반대로, 첨부된 청구항들에 의해 정의된 모든 대체들, 변경들 및 동등물들이 발명의 정신과 범위 내에 포함될 것으로 의도된다.
본 발명은 이미지 세그먼테이션의 방법의 사용을 만드는데, 이것은 원하는 세그먼트 내에 픽셀들의 범위가 놓일 확률이 정의되도록 모델링하는 함수, 지속성, 비-2진(non-binary)을 정의한다. 이러한 세그먼트들은 잔디 또는 다른 녹색 실물들, 하늘, 사람의 피부 등을 포함할 수 있다. 선택된 세그먼트내의 픽셀들은 이후 이미지의 품질을 개선시키기 위하여 또는 그 외관을 대체하기 위하여 강화될 수 있다. 세그먼트로 이어서 적용되는 강화의 레벨은 확률 측정의 함수이다. 즉, 이미지로 적용된 강화의 레벨은 픽셀이 특정 세그먼트로 속하는 확률에 존속한다. 강화는 세그먼트들의 모서리들에서 유순하게 흐려지는(fade out) 것을 허용한다. 이것은 이전에 공지된 강한 세그먼테이션 방법들의 활용으로부터 야기되는 프레임간 아티팩트들이 없이, 움직이는 이미지들에 적용될 이러한 세그먼테이션-기반 강화들을 고려한다.
이제 본 발명의 실시예들을 설명하기 위해 제공되고, 제한을 위한 것이 아닌 도면들을 참조하면, 도 1은 본 발명에 따라 지시된 기준들에 기초하여 픽셀들을 세그먼트하도록 따르게 될 단계들을 설명하는 다이어그램을 포함한다. 일반적으로 말해서, 픽셀들은 색상 이미지를 집합적으로 표현하는 분리된 광 반사 요소들이다. 각 픽셀은 표현된 별개의 장소에서 이미지의 색상을 가리키는 값을 갖는다. 한 실시예에서, 픽셀들은 블럭(102)에 도시된, 기저대역 비디오 신호와 같은 신호에 의해 제공된다. 신호는 블럭(104)에 지시된 색상 확률 함수를 계산하기 위해 사용된다. 색상 확률 함수는 이미지 내의 각 픽셀에 대해, 어떠한 지시된 범위 내에 픽셀의 값이 위치할 확률을 추정한다. 보다 명확하게, 모든 색상들이 그들이 반사시키는 가시광의 파장들의 범위에 의해 정의된다. 예를 들어, 청색광은 약 380nm와 480nm사이의 파장들을 반사시키고 녹색광은 약 480nm와 569nm사이의 파장들을 반사시키며, 스펙트럼의 다른쪽 끝에 위치한 적색광은 630nm와 750nm사이의 파장들을 반사시킨다. 루미넌스는 또한 개체의 색상을 정의하는데 일부분으로 작용한다. 예를 들어, 광의 동일한 파장들을 반사하는 두 가지 색상들은 그들이 또한 동일한 루미넌스 값을 갖지 않는다면 다른 외관을 가질 것이다. 이미지 내의 픽셀들에 대한 세그먼트들은 또한 종종 루미넌스 값들의 특정 영역 내에 위치하는 것들로 제한된다. 따라서, 색상 확률 함수는 설명된 가시광의 파장들의 주변 영역들의 하나 내에 특정 픽셀이 위치할 확률을 계산하고 이것은 루미넌스 값들의 지시된 범위 내에 위치할 것이다.
계속 도 1을 참조하면, 요구된 신호가 또한 블럭(106)에서 지시된 바와 같은 조직 확률 함수를 계산하기 위해 사용된다. 이러한 함수는 각 픽셀에 대하여, 픽셀에 의해 표시된 위치에서의 이미지가 지시된 조직을 갖는 확률을 추정한다. 따라서, 이미지에서의 하나 또는 그 이상의 다양한 영역들의 조직이 정의될 수 있고, 이미지 내의 픽셀들은 그들이 정의된 조직을 갖는 픽셀들로서 지시된 바에 대해 기준들에 맞는지 아닌지를 결정하기 위하여 분석될 수 있다.
한 번 색상 및 조직 확률 함수들이 얻어지면, 그들은 픽셀이 블럭(108)에 도시된 바와 같이 지시된 개체의 색상 및 조직을 갖는지 아닌지를 결정하기 위해 결합될 수 있다. 한 실시예에서, 본 발명은 이미지의 잔디 영역들을 판별하기 위해 사용된다. 따라서, 지시된 색상은 녹색일 것이고, 단지 약 480nm와 560nm 사이의 광을 반사하는 픽셀들만이 더욱 고려될 것이다. 다른 픽셀들은 "잔디 아님"으로 분류될 수 있고, 다른 고려로부터 제거될 것이다. 잔디를 표현하는 픽셀들은 전형적으로 녹색일 것이다. 그러나 잔디를 표현하지 않는 이미지에 녹색 픽셀들이 있을 수도 있다.
광의 파장은 픽셀의 색상을 결정하기 위해 사용될 것이나, 픽셀 조직은 다른 방법에 의해 측정될 것이다. 한 실시예에서, 적당한 픽셀 루미넌스 값들의 절대 차에 의해 조직이 측정된다. 이러한 경우에, 매우 적은 차이가 전형적으로 도 2에 도시된 바와 같은 스무스 지역을 가리킬 것이고, 큰 차이는 이미지에서 그들이 불연속적인 것들임을 가리킬 것이며, 따라서 픽셀은 도 3에 도시된 바와 같이 대략적으로 조직된 지역에 위치한다. 다른 실시예에서, 조직은 로컬 영역의 픽셀 값들의 평균제곱근 변화를 계산하는 것에 의해 측정된다. 또 다른 실시예에서, 조직은 이미지의 각 이웃에서의 픽셀 값들의 로컬 히스토그램을 얻는 것에 의해 측정된다. 이전과 같이, 이러한 값들에서의 작은 변화들은 픽셀들에 의해 표현된 지역의 조직이스무스하다는 것을 가리킬 것이고, 큰 변화들은 그들이 불연속적이라는 것을 가리킬 것이다. 본 발명을 따르는 임의의 사건에서, 녹색광을 반사시키고 적합한 범위 내에 위치한 조직 기준을 갖는 픽셀들만이 이것이 이미지 내에서 잔디를 식별하도록 원하게 될 때 선택될 것이다.
도 1로 다시 돌아가면, 원하는 색상 및 조직 특성들을 가지고 있는 것으로 식별된 픽셀들은 또한 블럭(110)에 도시된 바와 같이 그들의 시각적인 외관을 바꾸기 위하여 진행될 수 있다. 예를 들면, 녹색으로 분류된 픽셀들의 색상은 녹색의 다른 명암으로 변화될 수 있고, 또는 잔디의 색상이 눈의 표현을 나타내는 백색이나 잔디가 타버린 것을 나타내는 흑색과 같은 다른 색상으로 변화될 수 있다. 한 실시예에서, 공간 주파수 스펙트럼의 고주파수 부분이 잔디에 더 잘 조직된 외관을 주기 위해 증폭될 수 있다. 또 다른 실시예에서, 지시된 색상 및 조직 분류들을 갖는 모든 픽셀들의 밝기는 그들의 진동을 증가시키기 위해 증가될 수 있다. 다시 다른 실시예에서, 지시된 색상 및 조직 분류를 갖는 모든 픽셀들에 대한 잡음 처리는 원치않는 스무싱을 제거하기 위해 감소될 수 있다.
당업자기 이해할 것과 같이, 블랙 스트레치(black stretch)는 0 근처의 루미넌스 값들을 갖는 어두워진 픽셀들에 의해 모두가 대비되어 증가하는 이미지 강화 처리이다. 블랙 스트레치가 일반적으로 이미지 강화 기술에 유용한 반면, 이것은 종종 블랙 스트래치가 잔디를 포함하는 명암진 또는 다른 어두워진 지역들로 적용될 때 구멍들이 있도록 표현한다. 본 발명에 따라 이미지를 세그먼트하고 하나 또는 그 이상의 세그먼트들로 강화 기술들을 적용하는 것은, 블랙 스트레치를 감소시킬 수 있고, 따라서, 보다 어두운 부분들에서 나타나지 않는 이미지의 이러한 지역들을 만드는 구멍들을 제거한다.
본 발명의 적어도 하나의 실시예에서, 색상 확률 함수는 :
Pcolor= exp(-(((y-y0)/⇔y)2+ ((u-u0)/⇔u)2+ ((v-v0/⇔v)2))
로 정의되고, 여기서 y는 픽셀의 루미넌스의 값을 표현하고, u 및 v는 일반적으로 텔레비전 시스템들에서 사용되는 YUV 색상 공간에서의 색상 좌표들을 표현한다. 이러한 한 실시예에서, 파라메터 y0는 약 112와 동일하고, ⇔y는 약 40과 동일하고, u0는 약 110과 동일하고, ⇔u는 약 8과 동일하고, v0은 약 124와 동일하며, ⇔v는 약 7과 동일하다. 이러한 파라메터들의 값들은 매우 많은 이미지들에서 색상을 조절하고 잔디 지역들의 YUV 좌표들을 검사하는 것에 의해 얻어진다. 제공된 값들이 본 발명에 따라 성공적으로 사용되는 동안, 그들이 전형적이고, 다양한 많은 다른 값들 및 값들의 조합이 사용될 수 있고, 그들이 많은 방법들에 의해 얻어질 수 있다는 것이 이해된다.
위에서 지시된 바와 같이, 본 발명의 한 실시예가 소프트(soft) 세그먼테이션을 수행하기 위한 색상 확률 함수를 위해 3차원 가우시안 분포(Gaussian distribution)를 사용한다. 본 발명이 이러한 모델을 사용하는 것이 설명되는 동안, 이것이 다른 수학적 분표 함수들을 갖는 사용을 위해 서로 채택될 수 있다는 것이 이해된다.
다른 실시예에서, 조직 확률 함수는 다음에서 도시되고 당업자에 의해 공지된 리시언 함수(Recean function)에 의해 제공될 것이다:
Ptexture= ((t/sqrt(m*t))*exp(-((t-m)/s)2)
여기서 t는 픽셀(참조 숫자 10으로 식별된)을 둘러싼 윈도우(예를 들면, 도 4에 도시된 바와 같은)에서의 루미넌스의 평균제곱근 변화를 나타내고, m은 함수의 피크의 위치를 설명하는 루미넌스 스케일 상의 값이며, s는 동일한 루미넌스 함수의 폭을 설명하는 동일한 루미너스 스케일 상의 값이다. 한 실시예에서, 윈도우는 5x5픽셀 스퀘어(square)이다. 한 실시예에서, m은 4와 동일하고, 스케일의 피크 값은 255이다. 한 실시예에서, s는 5와 동일하다. 전과 같이, 이러한 값들은 전형적이다. 매우 많은 다른 것들은 본 발명에 따라 성공적으로 사용될 수 있다.
한 실시예에서, 파라메터 t는 루미넌스 신호의 시간적인 도함수를 계산하는 것 및 루미넌스 신호의 시간적인 도함수를 필터링하는 것에 의해 얻어질 것이다. 이러한 한 실시예에서, 시간적인 도함수는 픽셀에 대한 2차원적인 루미넌스 신호와 주변의 루미넌스 신호 사이의 차이를 계산하는 것 및 그러한 차이의 절대 값을 계산하는 것에 의해 얻어진다. 한 실시예에서, t1은 약 0.3과 동일하며; t는 약 15와 동일하다.
한 실시예에서, 앞서 기술된 바와 같이, 색상 및 조직 특성들이 다른 이미지 특성들로부터 분리된 잔디(또는 다른 식물들)를 식별하기 위해 사용된다. 색상 및 조직 확률 함수들이 몇몇의 다른 색상 공간들에서 정의될 수 있다는 것을 인지하여야 한다. 미리 지적된 바와 같이, 함수들은 YUV 색상 공간에서 정의될 수 있고, 이것은 텔레비전 신호들이 YUV 형식에서 파생되고 또한 다른 색상 공간으로의 송신이 필요치 않기 때문에 텔레비전 신호들이 사용될 때 바람직할 것이다. 다른 실시예에서, 색상 확률 및 조직 함수들은 HSV(huesaturation-value) 색상 공간에서 정의될 수 있다. 또 다른 실시예에서, 함수들은 적색, 녹색, 청색(RGB)의 색상 공간에서 정의될 수 있다.
한 번 이미지가 원하는 특성들에 기초하여 세그먼트되면, 세그먼트된 부분들은 이미지의 모든 품질을 향상시키기 위해 강화될 수 있다. 앞서 기술된 바와 같이, 이미지 강화의 전형적인 형태들은 지시된 세그먼트의 픽셀들의 색상을 변경하는 것과 그들의 주파수 또는 밝기를 증가시키는 것, 및 그들의 소음 처리를 감소시키는 것을 포함한다. 따라서, 이미지가 잔디를 식별하도록 세그먼트 될 때, 하나의 가능한 강화 알고리즘은 밝은 녹색 잔디의 색상을 향해 "잔디" 세그먼트의 색상을 변화시키고, 색상 채도를 증가시키며, 루미넌스를 증가시키고 모서리 강화를 적용할 것이다. 적용되는 강화의 양은 색상 및 조직 확률 함수들에 비례할 것이다. 따라서, 픽셀이 특정 세그먼트에 잘못 위치되면, 이러한 에러의 효과는 심각하지 않을 수 있다. 강화된 잔디가 본 발명의 이용을 수용할 수 있는 동안, 개념들이 하늘, 사람 피부, 건물들, 차량들 등과 같은 이미지의 다른 지역들을 강화하도록 적용될 수 있다는 것이 이해된다.
도 5에 도시된 바와 같이, 선택된 기준들에 기초하여 픽셀들을 세그먼트하기 위한 회로(10)는 텔레비전 방송 스튜디오 또는 다른 비디오 발생 장소로부터 신호(2)를 포착하는 수신기(4)를 포함할 수 있다. 신호(2)는 색상 회로(6)와 조직회로(8)로 송신된다. 색상 회로(6)와 조직 회로(8)가 도 5에 도시된 바와 같이 병렬로 수신기(4)에 연결될 수 있거나, 그들이 연속적으로 신호(2)를 처리하기 위하여 회로들(6 또는 8)을 허용하도록 직렬로 연결될 수 있다는 것이 인지되어야 한다. 색상 회로(6)에 의해 생성된 출력 신호들은 신호(2)에서 표현된 각 픽셀에 대하여, 지시된 색상의 범위 및 먼저 설명된 루미넌스 값들 내로 픽셀이 들어가는 확률을 가리킨다. 유사하게, 조직 회로(8)에 의해 생성된 출력 신호들은 지시된 조직을 갖는 개체(또는 개체의 부분)를 표현하는 픽셀의 확률을 가리킨다. 색상 회로(6) 및 조직 회로(8)로부터의 신호들은 픽셀이 지시된 세그먼트(14)로 속하도록 분류될 것인지 또는 지시된 세그먼트로 속하지 않을 것인지를 결정하도록 조합되는 픽셀 세그먼팅 회로(12)로 송신된다. 지시된 세그먼트에 속하는 픽셀들은 부가적인 처리 회로(16)로 송신될 수 있다. 도 6B를 참조하면, 회로(10)는 전형적으로 텔레비전 세트(20)로 직접적으로 포함되도록 요구하거나 도 6A에서 보여지는 바와 같이 텔레비전 세트(20)로 연결되는 셋탑 박스(22)로 포함되도록 요구될 수 있는 디스플레이와 링크될 것이다. 임의의 사건에서, 회로(10)는 전형적으로 텔레비전 방송 신호(2)와 텔레비전 튜너 사이의 어느 곳에 위치될 것이다. 텔레비전 방송 신호와 텔레비전 튜너 사이에 위치되는 것이 전형적일 것이다.
따라서, 본 발명에 따라, 선택된 기준들, 예를 들면 색상과 조직에 기초하여 픽셀들을 세그먼트하기 위한 방법 및 시스템이 제공된다는 것이 표현된다. 본 발명이 그의 바람직한 실시예들과 연관되어 설명되었지만 반면, 많은 변화들, 변경들, 및 다양함들이 당업자에게 표현될 것이라는 것이 명백하다. 따라서, 첨부된 청구항들의 정신과 넓은 범위 내에 속한 모든 이러한 대안들, 변경들 및 변형들을 포괄하도록 의도된다.

Claims (22)

  1. 선택된 기준들에 기초하여 픽셀들(10)을 세그먼트하는 방법에 있어서:
    -이미지 내의 픽셀들(10)에 대하여 색상값들을 표현하는 신호(2)를 얻는 단계와;
    -상기 이미지 내의 각 픽셀(10)에 대하여, 상기 픽셀(10)의 상기 색상값이 지시된 색상을 표현하는 값들의 범위 내에 위치할 확률을 추정하는 색상 확률 함수(104)를 계산하는 단계와;
    -상기 이미지 내의 각 픽셀(10)에 대하여, 상기 픽셀(10)이 지시된 조직을 표현하는 확률을 추정하는 조직 확률 함수(106)를 계산하는 단계와;
    -그의 색상 확률 함수와 그의 조직 확률 함수의 조합에 기초하여 상기 이미지 내의 각 픽셀(10)을 분류하는 단계(108)를 포함하는, 세그먼트 방법.
  2. 제 1 항에 있어서, 상기 신호(2)는 기저대역 비디오 신호인, 세그먼트 방법.
  3. 제 1 항에 있어서, 상기 색상 확률 함수(104) 및 상기 조직 확률 함수는 YUV 색상 공간에서 정의되는, 세그먼트 방법.
  4. 제 3 항에 있어서, 상기 색상 확률 함수(104)는 Pcolor=exp(-(((y-y0)/⇔y)2+ ((u-u0)/⇔u)2+ ((v-v0/⇔v)2))로 정의되며 여기서 y는 픽셀 루미넌스 값을 표현하고, u 및 v는 YUV 색상 공간에서의 색상 좌표들을 표현하는, 세그먼트 방법.
  5. 제 4 항에 있어서, y0는 112와 동일하고, ⇔y는 40과 동일하며, u0는 110과 동일하고, ⇔u는 8과 동일하며, v0는 124와 동일하고, ⇔v는 7과 동일한, 세그먼트 방법.
  6. 제 3 항에 있어서, 상기 조직 확률 함수(106)는 Ptexture= ((t/sqrt(m*t))*exp(-((t-m)/s)2)로 정의되고, 여기서 t는 상기 픽셀(10)을 둘러싼 윈도우(20)에서의 픽셀값 루미넌스의 평균제곱근의 변화를 표현하고, m은 상기 함수의 상기 피크의 상기 위치를 설명하는 루미넌스 스케일 상에서의 값이고, s는 상기 동일한 루미넌스 함수의 상기 폭을 설명하는 상기 동일한 루미넌스 스케일 상에서의 값인, 세그먼트 방법.
  7. 제 6 항에 있어서, 상기 윈도우(20)는 5 x 5 픽셀 스퀘어이고, m은 255의 피크 값을 갖는 루미넌스 스케일 상의 4와 동일하며 s는 5와 동일한, 세그먼트 방법.
  8. 제 6 항에 있어서, 상기 방법은 상기 파라메터 t를 얻는 단계를 더 포함하며, 상기 단계는:
    루미넌스 신호의 공간적인 도함수를 계산하는 단계와;
    상기 루미넌스 신호의 공간적인 도함수를 필터링하는 단계를 더 포함하는, 세그먼트 방법.
  9. 제 8 항에 있어서, 상기 공간적인 도함수를 계산하는 단계는 상기 픽셀(10)에 대한 2차원적인 루미넌스 신호와 이웃하는 루미넌스 신호 사이의 차이를 계산하는 단계와, 상기 차이의 절대값을 계산하는 단계를 더 포함하는, 세그먼트 방법.
  10. 제 6 항에 있어서, m1은 약 0.3과 동일하고 ⇔t는 약 15와 동일한, 세그먼트 방법.
  11. 제 1 항에 있어서, 상기 색상 확률 함수(104) 및 상기 조직 확률 함수(106)를 결합시키는 단계는 상기 색상 확률 함수와 상기 조직 확률 함수의 곱을 계산하는 단계를 또한 포함하는, 세그먼트 방법.
  12. 제 1 항에 있어서, 지시된 분류 내의 모든 픽셀들(10)을 선택적으로 처리하는 단계를 또한 포함하는, 세그먼트 방법.
  13. 제 12 항에 있어서, 상기 선택적인 처리는 상기 지시된 분류를 갖는 모든 픽셀들(10)의 색상을 대체하는 단계를 또한 포함하는, 세그먼트 방법.
  14. 제 12 항에 있어서, 상기 지시된 분류를 갖는 모든 픽셀들(10)의 주파수를 증가시키는 단계를 또한 포함하는, 세그먼트 방법.
  15. 제 12 항에 있어서, 상기 지시된 분류를 갖는 모든 픽셀들(10)의 밝기를 증가시키는 단계를 또한 포함하는, 세그먼트 방법.
  16. 제 12 항에 있어서, 상기 지시된 분류를 갖는 모든 픽셀들(10)에 대한 잡음 처리를 감소시키는 단계를 또한 포함하는, 세그먼트 방법.
  17. 제 1 항에 있어서, 상기 픽셀들(10)의 적어도 몇몇은 잔디를 표현하는 바와 같이 분류되는, 세그먼트 방법.
  18. 제 1 항에 있어서, 상기 색상 확률 함수(104) 및 상기 조직 확률 함수(106)는 HSV 색상 공간에서 정의되는, 세그먼트 방법.
  19. 선택된 기준들에 기초하여 이미지 내에서 픽셀들(10)을 세그먼트하는 방법에있어서,
    -기저대역 비디오 신호(2)를 얻는 단계와;
    -Pcolor= exp(-(((y-y0)/⇔y)2+ ((u-u0)/⇔u)2+ ((v-v0/⇔v)2))로 정의된 함수를 이용하는 단계로서, y는 픽셀 루미넌스 값을 표현하고, u 및 v는 상기 기저대역 비디오 신호(2)의 픽셀들(10)에 대한 색상 확률(104)을 계산하기 위한 YUV 색상 공간에서의 색상 좌표들을 표현하며, 상기 색상 확률 함수(104)는 상기 이미지의 각 픽셀(10)에 대하여, 상기 픽셀의 상기 색상값이 지시된 색상을 표현하는 값들의 범위 내에 위치할 확률을 추정하는, 상기 단계와;
    -Ptexture= ((t/sqrt(m*t))*exp(-((t-m)/s)2)로 정의된 함수를 이용하는 단계로서, t는 상기 픽셀을 둘러싼 윈도우에서의 픽셀 값 루미넌스의 평균제곱근의 변화를 표현하고, m은 상기 함수의 피크의 상기 위치를 설명하는 루미넌스 스케일 상의 값이며, s는 상기 기저대역 비디오 신호(2)에 대한 조직 확률(106)을 계산하기 위한 상기 루미넌스 함수의 폭을 설명하는 상기 루미넌스 스케일 상의 값이고, 상기 조직 확률은 상기 이미지 내의 각 픽셀에 대하여 상기 픽셀이 지시된 조직을 표현하는 확률을 추정하는, 상기 단계와;
    -그의 색상 확률 함수와 그의 조직 확률 함수의 곱에 기초하여 상기 이미지 내의 각 픽셀을 분류하는 단계를 포함하는, 세그먼트 방법.
  20. 선택된 기준들에 기초하여 이미지 내에서 픽셀들을 세그먼트하는 방법에 있어서:
    -이미지 내의 픽셀들에 대하여 색상값들을 표현하는 신호(2)를 얻는 단계와;
    -상기 이미지 내의 각 픽셀(10)에 대하여, 상기 픽셀(10)의 상기 색상값이 녹색을 표현하는 값들의 범위 내에 위치할 확률을 추정하는 색상 확률 함수(104)를 계산하는 단계와;
    -상기 이미지 내의 각 픽셀(10)에 대하여, 상기 픽셀(10)이 지시된 조직을 표현하는 확률을 추정하는 조직 확률 함수(106)를 계산하는 단계와;
    -그들의 색상 확률 함수(104)와 그들의 조직 확률 함수의 조합에 기초하여 잔디를 표현하는 상기 픽셀의 적어도 몇몇을 분류하는 단계(108)를 포함하는, 세그먼트 방법.
  21. 선택된 기준들에 기초하여 수신된 비디오 이미지 신호(2)를 세그먼트하기 위한 장치에 있어서, 상기 비디오 이미지 신호(2)는 비디오 디스플레이 상의 픽셀들의 밝기를 가리키고,
    -상기 비디오 이미지 신호(2)를 수용하는 수신기 4와;
    -픽셀 루미넌스 값 및 픽셀 색상 값이 지시된 범위들 내에 위치하는 확률을 가리키는 신호(2)를 발생시키는 색상 회로(6)와;
    -픽셀(10)이 지시된 조직을 갖는 개체의 적어도 한 부분을 나타내는 확률을 가리키는 신호(2)를 발생시키는 조직 회로(8)와;
    -상기 픽셀들을 상기 색상회로(6) 신호와 상기 조직 회로(8) 신호의 조합에 기초하여 적어도 두 개의 클래스들로 분리시키는 픽셀 세그먼팅 회로(12)를 포함하는, 세그먼트 장치.
  22. 선택된 기준들에 기초하여 수신된 비디오 이미지 신호(2)를 세그먼트하기 위한 장치에 있어서, 상기 비디오 이미지 신호(2)는 비디오 디스플레이 상의 픽셀들의 밝기를 가리키고,
    -상기 비디오 이미지 신호(2)를 수용하는 수신기 4와;
    -지시된 범위들 내에 픽셀 루미넌스 값과 픽셀 색상 값이 위치하는 확률에 기초하여, 복수의 픽셀들의 출력을 발생시키는 색상 회로(6)로서, 상기 색상 확률은 Pcolor= exp(-(((y-y0)/⇔y)2+ ((u-u0)/⇔u)2+ ((v-v0/⇔v)2))로 정의되고, 여기서 y는 상기 픽셀 루미넌스 값을 표현하고, u 및 v는 YUV 색상 공간에서의 색상 좌표들을 표현하는, 상기 회로와;
    -상기 픽셀들이 지시된 조직을 갖는 개체의 적어도 한 부분을 나타내는 확률에 기초하여, 상기 복수의 픽셀들에 대한 출력을 발생시키는 조직 회로(8)에 있어서, 상기 조직 확률은 Ptexture= ((t/sqrt(m*t))*exp(-((t-m)/s)2)로 정의되고, 여기서 t는 상기 픽셀을 둘러싼 윈도우에서의 픽셀값 루미넌스의 평균제곱근 변화이고, m은 상기 함수의 피크의 상기 위치를 설명하는 루미넌스 스케일 상의 값이고, s는상기 루미넌스 함수의 폭을 설명하는 상기 루미넌스 스케일 상의 값인, 상기 회로와;
    -상기 색상 회로(6) 출력과 상기 조직 회로(8) 출력의 곱에 기초하여, 적어도 두 개의 클래스들로 상기 픽셀들을 분리시키는 픽셀 세그먼팅 회로(12)를 포함하는, 세그먼트 장치.
KR1020027016173A 2001-03-28 2002-03-25 실시간 비디오에 대한 자동 세그먼테이션 기반 잔디 검출 KR20030014252A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/819,290 2001-03-28
US09/819,290 US6832000B2 (en) 2001-03-28 2001-03-28 Automatic segmentation-based grass detection for real-time video

Publications (1)

Publication Number Publication Date
KR20030014252A true KR20030014252A (ko) 2003-02-15

Family

ID=25227730

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027016173A KR20030014252A (ko) 2001-03-28 2002-03-25 실시간 비디오에 대한 자동 세그먼테이션 기반 잔디 검출

Country Status (6)

Country Link
US (1) US6832000B2 (ko)
EP (1) EP1374170A1 (ko)
JP (1) JP2004523988A (ko)
KR (1) KR20030014252A (ko)
CN (1) CN1460229A (ko)
WO (1) WO2002080097A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100682953B1 (ko) * 2005-12-14 2007-02-15 삼성전자주식회사 인물 검출장치 및 방법

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6903782B2 (en) 2001-03-28 2005-06-07 Koninklijke Philips Electronics N.V. System and method for performing segmentation-based enhancements of a video image
US7298866B2 (en) 2001-10-15 2007-11-20 Lockheed Martin Corporation Two dimensional autonomous isotropic detection technique
AU2003302973A1 (en) * 2002-12-13 2004-07-09 Koninklijke Philips Electronics N.V. Improved image segmentation based on block averaging
EP1573673A1 (en) * 2002-12-13 2005-09-14 Koninklijke Philips Electronics N.V. Adaptive segmentation of television images
JP3925476B2 (ja) * 2003-08-08 2007-06-06 セイコーエプソン株式会社 撮影場面の判定および撮影場面に応じた画像処理
JP2005130297A (ja) * 2003-10-24 2005-05-19 Olympus Corp 信号処理システム、信号処理方法、信号処理プログラム
AT501944B1 (de) * 2005-06-15 2007-06-15 Tissuegnostics Gmbh Verfahren zum segmentieren von leukozyten
US7746411B1 (en) * 2005-12-07 2010-06-29 Marvell International Ltd. Color management unit
JP4393489B2 (ja) * 2006-09-06 2010-01-06 キヤノン株式会社 画像処理装置およびその方法
CN101523414A (zh) * 2006-09-28 2009-09-02 皇家飞利浦电子股份有限公司 图像的部分的内容检测
RU2529481C2 (ru) * 2008-10-23 2014-09-27 Конинклейке Филипс Электроникс Н.В. Система получения изображений с кардио-и/или дыхательной синхронизацией и способ 2-мерной визуализации в реальном времени с дополнением виртуальными анатомическими структурами во время процедур интервенционной абляции или установки кардиостимулятора
US8498480B2 (en) * 2009-02-25 2013-07-30 The United States Of America, As Represented By The Secretary Of The Navy Computationally efficient method for image segmentation with intensity and texture discrimination
CN101930533B (zh) * 2009-06-19 2013-11-13 株式会社理光 在图像采集设备中进行天空检测的装置和方法
EP2620050B1 (en) 2012-01-25 2016-07-27 Honda Research Institute Europe GmbH System, method and apparatus for unsupervised adaptation of the perception of an autonomous mower
CN105191277B (zh) * 2013-03-22 2019-03-08 新思公司 基于引导式滤波器的细节增强
EP2884364B1 (en) * 2013-12-12 2018-09-26 Hexagon Technology Center GmbH Autonomous gardening vehicle with camera
JP2015132970A (ja) * 2014-01-14 2015-07-23 三星電子株式会社Samsung Electronics Co.,Ltd. テクスチャ検出装置、テクスチャ検出方法及びテクスチャ検出プログラム
KR20150100113A (ko) * 2014-02-24 2015-09-02 삼성전자주식회사 영상 처리 장치 및 이의 영상 처리 방법
GB2528044B (en) * 2014-07-04 2018-08-22 Arc Devices Ni Ltd Non-touch optical detection of vital signs
US9854973B2 (en) 2014-10-25 2018-01-02 ARC Devices, Ltd Hand-held medical-data capture-device interoperation with electronic medical record systems
EP3234722A2 (en) 2014-12-17 2017-10-25 Husqvarna AB Multi-sensor, autonomous robotic vehicle with lawn care function
US10506926B2 (en) 2017-02-18 2019-12-17 Arc Devices Limited Multi-vital sign detector in an electronic medical records system
US10492684B2 (en) 2017-02-21 2019-12-03 Arc Devices Limited Multi-vital-sign smartphone system in an electronic medical records system
US11582903B1 (en) 2017-05-17 2023-02-21 Hydro-Gear Limited Partnership Vision based guidance system and method for lawn mowing devices
US10602987B2 (en) 2017-08-10 2020-03-31 Arc Devices Limited Multi-vital-sign smartphone system in an electronic medical records system
US10485431B1 (en) 2018-05-21 2019-11-26 ARC Devices Ltd. Glucose multi-vital-sign system in an electronic medical records system
US11350564B1 (en) 2018-06-28 2022-06-07 Hydro-Gear Limited Partnership Vision system integration
IT201800020182A1 (it) * 2018-12-19 2020-06-19 Fabrizio Bernini Robot tagliaerba
US11464161B1 (en) 2019-03-29 2022-10-11 Hydro-Gear Limited Partnership Automatic sensitivity adjustment for an autonomous mower
WO2021247300A1 (en) 2020-06-01 2021-12-09 Arc Devices Limited Apparatus and methods for measuring blood pressure and other vital signs via a finger
CN115311507B (zh) * 2022-10-12 2023-01-31 南通宏梁建筑科技有限公司 基于数据处理的建筑板材分类方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996002043A1 (en) * 1994-07-07 1996-01-25 The Commonwealth Of Australia Object separation in multispectral image processing
US5963670A (en) * 1996-02-12 1999-10-05 Massachusetts Institute Of Technology Method and apparatus for classifying and identifying images
FI105059B (fi) * 1996-12-18 2000-05-31 Graafisen Teollisuuuden Tutkim Järjestelmä ja menetelmä kuvan käsittelemiseksi
US6243713B1 (en) * 1998-08-24 2001-06-05 Excalibur Technologies Corp. Multimedia document retrieval by application of multimedia queries to a unified index of multimedia data for a plurality of multimedia data types
US6560360B1 (en) * 1999-01-28 2003-05-06 Nestor, Inc. Feed forward feed back multiple neural network with context driven recognition
US6642940B1 (en) * 2000-03-03 2003-11-04 Massachusetts Institute Of Technology Management of properties for hyperlinked video

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100682953B1 (ko) * 2005-12-14 2007-02-15 삼성전자주식회사 인물 검출장치 및 방법

Also Published As

Publication number Publication date
US20020140815A1 (en) 2002-10-03
JP2004523988A (ja) 2004-08-05
WO2002080097A1 (en) 2002-10-10
US6832000B2 (en) 2004-12-14
EP1374170A1 (en) 2004-01-02
CN1460229A (zh) 2003-12-03

Similar Documents

Publication Publication Date Title
KR20030014252A (ko) 실시간 비디오에 대한 자동 세그먼테이션 기반 잔디 검출
US8923612B2 (en) Image processing apparatus and method, and program
Fu et al. A fusion-based enhancing approach for single sandstorm image
US8675104B2 (en) Noise filter for bayer pattern image data
Gao et al. Sand-dust image restoration based on reversing the blue channel prior
US8447132B1 (en) Dynamic range correction based on image content
US7869649B2 (en) Image processing device, image processing method, program, storage medium and integrated circuit
KR100771158B1 (ko) 칼라 영상의 화질 향상을 위한 방법 및 시스템
JP5121294B2 (ja) 画像処理方法、画像処理装置、プログラム、記録媒体および集積回路
US6272239B1 (en) Digital image color correction device and method employing fuzzy logic
US8532428B2 (en) Noise reducing apparatus, noise reducing method, and noise reducing program for improving image quality
JP2001126075A (ja) 画像処理方法および装置並びに記録媒体
Zheng et al. Infrared traffic image enhancement algorithm based on dark channel prior and gamma correction
CN110473152B (zh) 基于改进Retinex算法的图像增强方法
JP2009038794A (ja) 画像処理装置、画像処理方法、画像処理システム、プログラム、記録媒体および集積回路
Dai et al. Adaptive sky detection and preservation in dehazing algorithm
Kansal et al. Fusion-based image de-fogging using dual tree complex wavelet transform
JP2002140700A (ja) カラー画像処理方法および処理装置
JP4445026B2 (ja) 画像処理方法および装置並びにプログラム
Lian et al. Learning tone mapping function for dehazing
Tiwari et al. Analysis of color contrast enhancement techniques
Acharya et al. Contrast enhancement of images through skewness and mode based bi-histogram equalization
Xu Novel Image Dehazing Algorithm Using Scene Segmentation and Open Channel Model
Ravshanov et al. Image contrast enhancement based on infrared data obtained under difficult light conditions
Zavalishin et al. Parameters adaptation framework for local contrast enhancement

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
NORF Unpaid initial registration fee