KR20120112359A - 크로마－키잉을 이용한 제스처 인식 - Google Patents
크로마－키잉을 이용한 제스처 인식 Download PDFInfo
- Publication number
- KR20120112359A KR20120112359A KR1020127001549A KR20127001549A KR20120112359A KR 20120112359 A KR20120112359 A KR 20120112359A KR 1020127001549 A KR1020127001549 A KR 1020127001549A KR 20127001549 A KR20127001549 A KR 20127001549A KR 20120112359 A KR20120112359 A KR 20120112359A
- Authority
- KR
- South Korea
- Prior art keywords
- color
- background
- unit
- different
- colors
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 34
- 239000003086 colorant Substances 0.000 claims abstract description 27
- 238000009826 distribution Methods 0.000 claims description 24
- 210000001364 upper extremity Anatomy 0.000 description 12
- 238000001514 detection method Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000011017 operating method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- OBSZRRSYVTXPNB-UHFFFAOYSA-N tetraphosphorus Chemical compound P12P3P1P32 OBSZRRSYVTXPNB-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명에서 물체를 분석하기 위한 방법 및 시스템이 제공된다. 상기 시스템은: 물체 뒤에 배열되는 배경으로서, 배경의 컬러는 컬러들의 세트로부터 선택되는 것이 가능한, 상기 배경; 배경에 대하여 제공되는 컬러를 설정하여 제공된 컬러가 물체의 컬러와 상이하도록 하기 위한 제 1 유닛; 물체 및 배경을 포함하는 픽처를 촬영하는 제 2 유닛; 및 상기 제 2 유닛에 의해 촬영되는 픽처에 따라 물체와 관련되는 적어도 하나의 피처를 검출하기 위한 제 3 유닛을 포함한다. 상기 시스템에서, 배경의 컬러는 물체의 컬러와는 상이하도록 설정 가능하다. 이 방식에서는, 촬영된 픽처 내의 배경 부분과 물체 부분이 쉽게 구분된다. 이로 인해 결과적으로 상이한 물체들, 특히 상이한 컬러들의 물체들이 안정적으로 인식된다.
Description
본 발명은 이미지 프로세싱 기술에 관한 것으로, 특히 이미지 프로세싱 기술을 이용하여 물체를 분석하는 것에 관한 것이다.
이미지 프로세싱 기술들을 이용하여 물체들, 예를 들어 인간의 손 형상들을 인식하는 장치는 당업계예 널리 공지되어 있고, 카메라들 및 전자 프로세싱 장치를 이용함으로써 예를 들어 상이한 손 제스처들을 인식하는 것을 목표로 하는 여러 종래 기술의 시스템들이 존재한다. 그와 같은 종래의 시스템들에서, 물체들의 픽처들은 전형적으로 복잡한 배경 또는 고정된 컬러의 배경의 앞에서 캡처(capture)된다. 그러나, 상이한 물체들은 상이한 컬러들(예를 들어, 상이한 피부색들로 인한)을 가질 수 있다. 물체의 컬러가 배경의 컬러와 근접하면, 종래 시스템들에서는 정확하고 안정적인 인식을 제공하는 것이 어렵다. 이로 인해, 이 종래 기술 시스템들은 높은 정확성 및 양호한 안정성이 요구되는 분야들에 적용하는 것이 제한되었다.
그러므로, 인간의 손들과 같은 물체들을 높은 정확성과 양호한 안정성으로 검출하고 분석하기 위한 기술을 제공하는 것이 필요하다.
상이한 물체들, 특히 상이한 컬러들의 물체들을 높은 정확성과 양호한 안정성으로 검출하고 분석하기 위한 기술을 제공하는 것이 유용할 것이다.
본 발명에 따르면, 배경이 분석될 물체 뒤에 배열되고, 배경의 컬러는 물체의 컬러와 상이하도록 설정되는 것이 가능하다. 이 방식에서, 물체 및 배경을 포함하는 픽처가 촬영된 후에, 픽처 내의 물체 부분과 배경 부분을 구별하는 것이 용이하다. 이는 결과적으로 상이한 물체들, 특히 상이한 컬러들의 물체들을 안정적으로 인식하게 한다.
본 발명의 양태에 따르면, 물체를 분석하기 위한 방법 및 시스템이 제공된다. 상기 시스템은:
물체 뒤에 구성되는 배경으로서, 배경의 컬러는 컬러들의 세트 중 임의의 하나로부터 선택되는 것이 가능한, 상기 배경;
배경의 컬러가 물체의 컬러와 상이하도록 상기 배경의 컬러를 설정하기 위한 제 1 유닛;
물체 및 배경을 포함하는 픽처를 촬영하기 위한 제 2 유닛; 및
상기 제 2 유닛에 의해 촬영된 픽처에 따라 물체와 관련되는 적어도 하나의 피처(feature)를 검출하기 위한 제 3 유닛을 포함한다.
그와 같은 시스템 및 방법의 장점은: 배경의 컬러가 물체의 컬러와 매우 상이하기 때문에, 촬영된 픽처들 내에서 전경(즉, 물체 부분)과 배경을 구별하는 것이 매우 용이하다는 것이다. 더욱이, 그와 같은 시스템에서, 배경의 컬러는 물체의 컬러에 따라 설정될 수 있다. 그러므로, 심지어 한 물체가 다른 물체로 교체되는 것으로 인해 물체 컬러가 변경될지라도, 상기 시스템은 촬영된 픽처들에 따라 물체에 관한 피처들을 용이하게 계속 검출할 수 있다.
바람직하게는, 배경으로 선택되는 컬러는 크로마(chroma), 휘도, 또는 이 둘에 관하여 물체의 컬러와 상이하다. 그와 같은 시스템은 요건들에 따라, 비용이 저렴한 흑백 카메라 또는 컬러 카메라를 제 2 유닛으로 가질 수 있다.
바람직하게는, 배경에 대해 설정되는 컬러는 제 1 유닛 내의 제 1 모듈에 의해 결정될 수 있다. 예를 들어, 제 1 모듈은 디폴트 컬러(default color)(예를 들어, 그린)를 배경 컬러로 선택할 수 있다. 다른 예를 들어, 배경 컬러는 사용자 입력에 기초하여 결정될 수 있고, 사용자 입력은 사용자가 선택하고자 원하는 배경 컬러를 표시한다. 그와 같은 시스템은 매우 간단하고 용이하게 조작할 수 있다. 추가의 예에서, 배경 컬러는 물체 및 사용자 입력의 검출된 컬러 분포에 따라 결정될 수 있다. 그와 같은 시스템은 물체의 더욱 정확한 분석을 달성하기 위해 환자 또는 사용자가 가장 어울리는 컬러를 배경에 대한 컬러로서 선택하는 것을 도울 수 있다.
바람직하게는, 물체의 컬러 분포는 다음의 단계들:
상이한 컬러들의 배경들의 세트를 생성하기 위해 컬러들의 서브세트를 배경에 대해 순서대로 선택하는 단계;
상기 배경들의 세트의 각각의 배경에 대해, 물체 및 배경을 포함하는 적어도 하나의 픽처를 촬영하는 단계; 및
상기 배경들의 세트에 대해 촬영된 픽처들에 대한 통계 분석에 기초하여, 물체의 컬러 분포를 검출하는 단계를 수행함으로써 자동으로 결정될 수 있다
그와 같은 시스템은 배경에 대한 최적의 컬러가 사용자 개입 없이 정확하게 결정될 수 있도록, 물체의 컬러 분포를 자동으로 검출할 수 있다.
바람직한 실시예에서, 물체는 신체의 일부(인간의 손과 같은)일 수 있고, 시스템은 제 3 유닛에 의해 검출되는 상기 적어도 하나의 피처에 기초하여, 신체의 일부의 제스처를 인식하기 위한 제 4 유닛을 추가로 포함한다. 예를 들어, 검출되는 피처는 신체의 일부의 실루엣일 수 있다. 그와 같은 시스템은 추가 분석을 위하여 신체의 일부의 제스처를 정확하고 안정적으로 검출할 수 있다.
더욱이, 상술한 시스템은 재활 시스템으로 이용될 수 있고, 물체는 환자의 신체의 일부(예를 들어, 상지(upper limb) 및 손)이다. 재활 시스템은 추가적으로, 신체의 일부의 인식된 제스처가 정확한지의 여부를 평가하고나서 피드백을 복귀시켜서 오디오 및/또는 비디오 신호들을 통해 환자에게 자극을 제공한다. 이 방식에서, 그와 같은 시스템은 환자가 수월하게 셀프 케어 운동 신경 재습득 트레이닝(self-care motor relearning training)을 자동으로 수행하도록 하는 홈-기반(home-based) 재활 시스템일 수 있다.
본 발명의 다른 양태에 따르면, 물체의 분석을 지원하기 위한 장치가 제공되고, 상기 장치는:
물체 뒤에 배열되도록 의도되는 배경으로서, 배경의 컬러는 다양한 컬러들 중 임의의 하나로부터 선택되는 것이 가능한, 상기 배경; 및
배경에 대한 컬러가 물체의 컬러와 상이하도록 제공되는 컬러를 구성하기 위한 제 1 유닛을 포함한다.
그와 같은 장치는 카메라 및 컴퓨팅 디바이스와 협력하여 상술한 바와 같은 재활 시스템을 설정할 수 있다.
본 발명의 상기 및 다른 양태들은 이후에 기술되는 실시예(들)를 참조하여 명확하고 분명해질 것이다.
상술한 바와 같이 본 발명에 의해, 물체들을 높은 정확성과 양호한 안정성으로 검출하고 분석하기 위한 기술이 제공된다.
도 1은 본 발명의 실시예에 따른 물체의 분석을 위한 시스템의 개략도;
도 2는 도 1의 시스템에 대한 동작 절차의 흐름도;
도 3은 도 1에서의 제어기의 블록도;
도 4는 본 발명의 실시예에 따른 물체의 컬러 분포의 자동 검출의 흐름도;
도 5는 본 발명의 실시예에 따른 재활 시스템에 대한 동작 절차의 흐름도;
도 6은 본 발명의 실시예에 따라 획득되는 실루엣의 개략도.
도 2는 도 1의 시스템에 대한 동작 절차의 흐름도;
도 3은 도 1에서의 제어기의 블록도;
도 4는 본 발명의 실시예에 따른 물체의 컬러 분포의 자동 검출의 흐름도;
도 5는 본 발명의 실시예에 따른 재활 시스템에 대한 동작 절차의 흐름도;
도 6은 본 발명의 실시예에 따라 획득되는 실루엣의 개략도.
본 발명은 이후에 실시예들에 의해 및 도면들을 참조하여 더욱 자세하게 기술되고 설명될 것이다.
도면들에서 동일한 참조 부호들은 유사하거나 대응되는 피처들 및/또는 기능들을 나타낸다.
본 발명의 실시예는 이후에 도면들을 참조하여 자세하게 기술될 것이다.
본 발명의 발명자는 분석될 물체 뒤에 배열되는 배경의 컬러가 물체의 컬러와 상이하도록 설정될 수 있다면 유용할 것이라는 것을 알았다. 물체 및 배경 사이에는 큰 컬러 차가 존재하므로, 물체를 포함하는 픽처의 물체 부분 및 배경을 구별하는 것이 용이하다.
도 1은 상기 개념에 따라 물체를 분석하기 위한 예시적인 시스템(10)을 도시한다. 시스템(10)은 손의 제스처들 등의 인식 시스템일 수 있다. 도 1에 도시되는 바와 같이, 시스템(10)은 배경(110), 제어기(120)(제 1 유닛), 카메라(130)(제 2 유닛) 및 프로세싱 유닛(140)을 포함하고, 프로세싱 유닛(140)은 예를 들어 검출 유닛(141)(제 3 유닛) 및 다른 광학적 기능 유닛들(142 및 142)을 포함한다(이는 후술될 것이다).
도 1에 도시되는 바와 같이, 인간의 손과 같이, 분석되어야 할 물체(150)는 배경(110) 및 카메라(130) 사이에 배치된다. 여기서, 배경(110)의 위치 및 높이는 원하는대로 조절될 수 있고, 예를 들어 상이한 사용자들에 맞도록 조절될 수 있다. 카메라(130)는 물체(150) 및 배경(110)을 포함하는 픽처들을 촬영한다. 카메라(130)는 디지털 카메라 또는 디지털 비디오 카메라일 수 있다. 카메라(130)는 촬영된 픽처들이 분석을 위해 카메라(130)로부터 프로세싱 유닛(140)으로 전송될 수 있도록, 무선 또는 유선 접속을 통해 프로세싱 유닛(140)과 연결된다. 프로세싱 유닛(140)은 랩탑, PDA, 셀룰러 폰, 또는 이미지 프로세싱 케이퍼빌리티(capability)를 가지는 임의의 다른 전자 디바이스들일 수 있다. 프로세싱 유닛(140)은 수신된 픽처들을 프로세싱하여 물체(150)에 관한 적어도 하나의 피처를 검출한다. 물체의 피처들은 위치, 크기, 윤곽 또는 픽처들로부터 검출될 수 있는 임의의 다른 피처들을 포함한다.
도 1의 실시예에서, 배경(110)의 컬러는 다양한 컬러들 중 임의의 컬러로부터 선택될 수 있다. 예를 들어, 배경(110)은 다수의 LED들이 내장되어 있는 LED 광 보드(lightboard)일 수 있다. LED 광 보드의 컬러는 R.G.B 값들이 점차 증가하거나 감소하는 100개의 상이한 컬러들 중 임의의 하나일 수 있다. 그러나, 본 발명은 이로 제한되지 않고; 배경 컬러들의 수 및 유형들은 요구에 따라 결정될 수 있다. 배경(110)는 또한 LED 광 보드로 제한되지 않고, 온도-제어 컬러-가변 보드 등일 수 있다. 배경의 컬러를 제외하고, 사용자 친화적 인터페이스가 제공될 수 있도록 배경의 질감(texture) 또한 사용자의 기호에 따라 선택되거나 변경될 수 있다.
도 1에서, 제어기(120)는 배경(110)에 연결되어 배경에 대하여 제공되는 컬러를 선택하고, 제공되는 컬러는 물체의 컬러와는 상이하다. 제어기(12)는 원격-제어 유닛과 같은 개별 유닛으로 동작할 수 있거나, 또는 배경(그것이 간단한 경우) 또는 프로세싱 유닛(140)에 통합될 수 있다. 배경에 대하여 선택된 제공되는 컬러는 크로마, 휘도, 또는 이 둘 모두에 관하여 물체의 컬러와 상이할 수 있다. 예를 들어, 컬러는 YUV 또는 RGB 포맷으로 제공될 수 있다. YUV 포맷에서, Y는 휘도를 표시하고, U, V는 크로마를 표시한다. 물체 컬러(피부 컬러)의 크로마만이 고려될 때, U가 80 내지 100이고 V가 120 내지 140이면, 배경에 대해 제공되는 컬러는 물체의 컬러의 범위와는 상당히 상이한, 예를 들어 제공된 컬러의 U 및 V는 모두 약 230이다. 이 방식에서, 물체의 컬러 및 배경의 컬러 사이에는 큰 색차가 존재한다. 이 색차는 카메라(130)에 의해 촬영되는 픽처의 물체에 관한 피처들(실루엣과 같은)을 검출하는데 도움을 줄 것이다.
도 2는 시스템(10)의 예시적인 동작 절차를 도시한다. 도 2에 도시되는 바와 같이, 단계 S210에서, 시스템(10)은 초기화되고, 물체(150)(예를 들어, 인간의 손)는 배경(110)의 전방에 배치된다. 단계 S220에서, 제어기(120)는 제어 신호를 배경(110)에 송신함으로써 배경의 컬러를 제공된 컬러로 설정한다. 제공된 컬러는 물체의 컬러와 상당히 상이하다. 예를 들어, 제공된 컬러는 황색인의 피부 컬러와는 명백하게 상이한 녹색같은 디폴트 컬러일 수 있다. 제어기(120)의 예들은 도 3 및 도 4와 관련하여 후술될 것이다. 단계 S230에서, 카메라(130)는 물체(150) 및 구성된 배경(110)을 포함하는 적어도 하나의 픽처를 촬영한다. 그리고나서 촬영된 픽처는 프로세싱 유닛(140)으로 전송된다. 카메라(130)는 프로세싱 유닛 또는 제어기로부터의 명령에 따라 픽처들을 촬영하거나 연속해서 픽처들을 촬영한다. 단계 S240에서, 프로세싱 유닛(140) 내의 검출 유닛(141)은 수신된 픽처들에 대하여 이미지 프로세싱을 수행하여 물체에 관한 적어도 하나의 피처를 검출한다. 배경의 컬러가 물체의 컬러와 매우 상이하므로, 검출 유닛(141)이 공지되어 있는 기술들을 이용하여, 물체 부분을 촬영된 픽처로부터 구분하는 것이 용이하다. 예를 들어, 구분은 자동으로 결정되는 임계를 이용하여 실행될 수 있다. 검출 유닛(141)에서, 구분된 물체 부분은 추가 분석을 위해(인식과 같은) 물체에 관한 피처들, 예를 들어 물체의 위치, 크기, 및 실루엣을 검출하도록 추가로 프로세싱될 수 있다. 피처들을 검출하기 위한 예시적인 절차는 도 5와 관련하여 후술될 것이다.
도 1에서, 제어기(120)는 상이한 방식들로 구현될 수 있다. 도 3은 제어기(120)의 일부 예들을 도시한다.
도 3에 도시되는 바와 같이, 제어기(120)는 배경(110)에 대하여 제공되는 컬러를 결정하기 위한 제 1 모듈(310)을 포함한다. 예를 들어, 상술한 바와 같이, 초기화 동안, 제 1 모듈은 디폴트 컬러(예를 들어 녹색)를 배경에 대해 제공되는 컬러로 선택할 수 있고 배경(110)을 상기 컬러로 설정할 수 있다.
또한 도 3에 도시되는 바와 같이, 제어기(120)는 사용자 입력을 수신하기 위한 사용자 인터페이스(320)를 추가로 포함한다. 사용자 입력은 사용자가 선택하고자 원하는 배경 컬러를 직접적으로 표시한다. 이 경우에, 제 1 모듈(310)은 사용자 입력이 제공되는 컬러로 표시하는 컬러를 결정한다. 이것은 간단한 방식인데, 왜냐하면 사용자는 대부분의 경우들에서 배경에 대해 물체의 컬러와 상이한 컬러를 개인적으로 선택할 수 있기 때문이다.
다른 예에서, 제어기(120)는 물체(150)의 컬러 분포를 결정하기 위한 제 2 모듈(330)을 추가로 포함한다. 이 예에서, 사용자 인터페이스(320)로부터의 사용자 입력은 물체의 컬러(예를 들어, 피부색 및/또는 슬리브의 컬러)를 표시한다. 사용자 입력에 기초하여, 제 2 모듈(330)은 물체(150)의 컬러 분포를 생성하고, 제공되는 컬러는 제 1 모듈(310)에서의 컬러 분포에 기초하여 결정된다. 예를 들어, 제공되는 컬러는 피부색 및 슬리브의 컬러 이 둘로부터 임계치보다 큰 컬러 거리(color distance)들을 가지는 100개의 상이한 컬러들 중 하나일 수 있다. 그리고 제공되는 컬러 및 물체의 컬러 분포 내의 각각의 구성요소 사이의 컬러 거리가 클수록 예상되는 효과가 더 양호하다.
추가적인 예에서, 제어기(120)는 제 1 모듈(310) 및 제 2 모듈(330) 만을 포함할 수 있다. 이 예에서, 제 2 모듈(330)은 물체(150)의 컬러 분포를 자동으로 검출한다. 이 방법은 복잡한 물체 컬러들을 가지는 상황에 대해 더욱 적응 가능하다. 예시적인 프로세싱 절차는 도 4에 도시된다.
도 4에 도시되는 바와 같이, 절차는 단계 S410으로부터 시작한다. 단계 S410에서, 배경(110)은 배경들의 상이한 컬러들의 세트가 생성되도록, 컬러들의 세트(예를 들어, 100개의 컬러들 또는 이 컬러들의 서브세트)를 순서대로 제공하도록 구성된다. 단계 S410는 제 2 모듈(330)에 의해 또는 제 2 모듈의 제어 하에 있는 제 1 모듈(310)에 의해 수행될 수 있다. 단계 S420에서, 상이한 컬러들의 배경들 각각에 대해, 카메라(130)는 상이한 배경 컬러들의 픽처들의 세트가 촬영되도록, 물체(150) 및 제 2 모듈의 제어 하에 있는 배경을 포함하는 적어도 하나의 픽처를 촬영한다. 단계 S430에서, 픽처들의 세트는 직접 제 2 모듈(330)로 또는 프로세싱 유닛(140)을 통하여 전달된다. 단계 S440에서, 픽처들의 세트는 물체의 컬러 분포를 검출하기 위해 통계적으로 분석된다.
예를 들어, 단계 S440에서, 픽처들의 세트의 각각의 픽처에 대한 R, G, B 분포는 히스토그램을 통해 계산된다. 여기서, 물체(150)의 컬러 분포는 계산된 분포들의 비교에 의해 달성될 수 있는데, 왜냐하면 컬러 분포는 항상 동일하거나 유사한 분포를 가지기 때문이다. 더 간단한 예에서, 촬영된 픽처들은 R, G, B 차원들로 함께 축적된다. 이 픽처들의 배경 컬러가 큰 범위 내에서 변경될지라도 이들의 물체 부분은 변하지 않고 남아 있으므로, 축적된 프레임들의 히스토그램 내에 다른 에어리어(area)들보다 명확하게 더 높은 피크 에어리어가 존재하고, 이 피크 에어리어는 물체 부분의 컬러 범위, 즉 물체의 컬러 분포에 대응한다. 물체의 컬러 분포가 검출된 후에, 배경에 대해 제공되는 컬러는 물체의 컬러 분포의 중앙 또는 피크로부터 최대 컬러 거리를 가지는 컬러로 결정될 수 있다.
도 1 내지 도 4는 시스템(10)의 일부 실시예들을 도시한다. 시스템(10)은 손 제스처들의 인식을 위한 시스템과 같이, 상이한 애플리케이션들에서 이용될 수 있다. 인식 시스템에서, 프로세싱 유닛은 검출 유닛(141)에 의해 검출되는 피처들에 기초하여 사용자의 손의 제스처를 인식하기 위한, 인식 유닛(142)을 추가로 포함한다. 시스템(10)은 제품 분류 시스템들 등과 같은 다른 시스템들에 추가로 적용될 수 있다.
도 5는 도 1의 시스템(10)이 재활 시스템으로 이용되는 실시예를 도시한다. 재활 시스템은 운동 기능이 손상된 환자들을 돕고, 그들의 손상된 기능들으 복구시키는 시스템이다. 이전의 재활 시스템들은 전기 자극(electrical stimulation: FES) 시스템, 로보틱스 등을 포함한다. 그러나, 이 재활 시스템들은 값비싸고 복잡하므로, 가정에서 그것들을 적용하는 것이 제한된다. 그러므로, 이 실시예에서, 환자들이 예를 들어 상지 및 손에 셀프-케어 운동 신경 재습득 트레이닝을 수행하는 저비용, 홈-기반 재활 시스템이 제공된다.
이 실시예에서, 도 1의 시스템(10)은 재활 시스템으로 동작된다. 재활 시스템에서, 프로세싱 유닛(140)은 환자에게 오디오 또는 비디오 신호들을 통해 특정한 행위를 수행하라고 지시하기 위한 명령 유닛(도시되지 않음)을 추가로 포함한다. 게다가, 프로세싱 유닛(140)은 상술한 바와 같은 인식 유닛(142) 및 판정 유닛(143)을 추가로 포함한다. 판정 유닛(143)은 유닛(142)에 의해 인식되는 제스처가 정확한지를 판정하여, 환자에게 자극을 제공하기 위해 피드백 신호를 리턴한다. 게다가, 프로세싱 유닛(140)은 실시간으로 촬영되는 픽처들을 보여주기 위한 디스플레이를 추가로 포함한다.
도 5는 재활 시스템의 예시적인 동작 절차를 도시한다. 도 5에 도시되는 바와 같이, 단계 S510에서, 환자에게는, 자신의 상지 및 손을 물체(150)로서 배경(110) 및 카메라(130) 사이에 배치하고 특정한 동작을 수행할 것이 요청될 때 그러한 동작(예를 들어 자신의 주먹을 꽉 쥐라는 것 등)을 수행한다. 단계 S520에서, 도 2 내지 도 4의 절차에 따르면, 배경의 컬러는 예를 들어 환자의 피부색이나 슬리브 컬러와 상이하도록 선택된다. 단계 S530에서, 도 2에 도시된 바와 동일한 방식으로, 카메라(130)는 환자의 상지 및 손의 위치를 챕처하기 위해 상기 상지 및 손뿐만 아니라 배경을 포함하는 픽처를 촬영한다. 단계 S540에서, 픽처는 프로세싱 유닛(140) 내의 검출 유닛(141)으로 전송되어 상지 및 손의 피처들을 검출한다. 예를 들어, 단계 S540에서, 기하학적 중심을 획득하는 알고리즘 또는 침식법(erosion method)을 이용하여 상지 및 손 부분, 즉 물체 부분이 구분된 후에 예를 들어 손의 중심 위치를 검출한다. 중심 위치는 물체의 위치를 나타내고, 따라서 그것은 참조로서 이용될 수 있다. 더욱이, 단계 S540에서, 구분된 물체 부분, 즉 상지 및 손의 부분은 고역 통과 필터(예를 들어, Sobel 연산자를 이용한)에 의해 추가로 필터링되어 상지 및 손의 실루엣을 획득한다. 바람직하게는, 획득된 실루엣은 실루엣 내의 블러링 효과들(blurring effects)을 제거하기 위해 추가로 디블러링(deblurring)될 수 있다. 명확한 모서리들이 상당히 중요한 경우들에서, 디블러링 방법이 유용하다. 도 6은 상기 방법에 따라 순서대로 촬영된 적어도 두 픽처들로부터 획득되는 상지 및 손의 두 실루엣들(610 및 620)을 도시한다.
다음에, 단계 550에서, 인식 유닛(142)은 검출된 피처들(위치 및/또는 실루엣을 포함하는)을 추가로 프로세싱하여 환자가 행한 제스처를 인식한다. 상기 인식 사용에 대하여 다양한 방법들이 이용될 수 있다. 예를 들어, 상지의 제스처는 검출된 실루엣에 의해 표시되는 바에 따라 검출된 중심 위치 및 상지 팔 및 전완(forearm) 사이의 각에 기초하여 미리 인식될 수 있다. 바람직하게는, 인공 신경 회로망(artificial neural network: ANN) 또는 최대 우도 추정기(maximum likelihood estimator)는 단계 S550에서 적용될 수 있다. ANN 알고리즘의 경우, ANN으로의 입력은 실루엣 상의 피처 포인트들(극점들 또는 변곡점들), 중심 지점 및 실루엣의 각각의 포인트 사이의 거리의 평균 또는 표준 편차와 같은 검출된 실루엣의 피처들일 수 있다. ANN의 출력은 도 6에서 열려 있는 손(610) 및 쥐고 있는 손(620)과 같이, 인식되는 제스처를 식별한다. 단계 S560에서, 판정 유닛(143)은 인식된 제스처가 미리 규정된 해당 제스처와 매칭(matching)하는지를 판정하고 판정의 결과에 기초하여 피드백 신호, 예를 들어 보상을 제공한다. 이 자극 하에서, 환자는 셀프-케어 운동 신경 재습득 트레이닝을 계속 수행할 수 있다. 대안으로, 복수의 그와 같은 재활 시스템들은 네트워크를 통해 재활 센터에 접속될 수 있다. 재활 센터 내의 의사는 둘 이상의 환자들이 동시에 재습득 트레이닝을 수행하는 것을 원격으로 도울 수 있다.
본 발명은 도면들 및 상술한 설명에서 상세하게 설명되고 기술되었을지라도, 그와 같은 설명 및 기술은 설명 또는 예시적인 것으로 고려되어야만 하고 제한하는 것으로 고려되어서는 안 된다; 본 발명은 개시된 실시예들로 제한되지 않는다. 예를 들어 본 발명은 하지 및 신체의 다른 부분들을 인식하거나, 또는 특정한 디바이스의 공간 제스처를 인식하는데 적용될 수 있다. 대안으로, 본 발명은 제품 분류 또는 물체의 분석을 위한 다른 분야들에서 적용될 수 있다.
개시된 실시예들에 대한 다른 변형예들은 청구되는 발명을 실시하는데 있어서 도면들, 명세서, 및 첨부된 청구항들의 연구로부터 당업자에 의해 이해되고 달성될 수 있다. 청구항들에서, 단어 "comprising"은 다른 요소들 및 단계들을 배제하지 않고, 부정 관사 "a" 또는 "an"은 복수를 배제하지 않는다. 단일 프로세서 또는 다른 유닛은 청구항들에서 인용되는 여러 아이템들의 기능들을 완수할 수 있다. 특정 조치들이 상호 상이한 종속 청구항들에서 인용되는 단순한 사실은 이 조치들의 결합이 유용하게 이용될 수 없다는 것을 나타내지 않는다. 컴퓨터 프로그램은 다른 하드웨어와 함께 또는 일부로서 제공되는 적절한 매체, 예를 들어 광학 저장 매체 또는 고체 매체 상에 저장/분배될 수 있으나, 또한 다른 형태들로, 예를 들어 인터넷 또는 다른 유선 또는 무선 전기통신 시스템들을 통해 분배될 수 있다. 청구항들에서의 어떠한 참조 기호들도 범위를 제한하는 것으로 해석되어서는 안 된다.
10 : 시스템 110 : 배경
150 : 물체
150 : 물체
Claims (15)
- 물체(150)를 분석하기 위한 시스템(10)에 있어서:
상기 물체에 대한 배경을 제공하기 위해 상기 물체(150) 뒤에 배열되는 배경 유닛(110)으로서, 상기 배경 유닛(110)의 컬러는 컬러들의 세트 중 임의의 하나로부터 선택되는 것이 가능한, 상기 배경 유닛(110);
상기 배경 유닛(110)의 컬러를 상기 컬러들의 세트 중에서 제공된 컬러로 설정하기 위한 제 1 유닛(120)으로서, 상기 제공된 컬러는 상기 물체(150)의 컬러와 상이한, 상기 제 1 유닛(120);
상기 물체(150) 및 상기 제공되는 컬러로 설정되는 상기 배경 유닛(110)을 포함하는 픽처를 촬영하기 위한 제 2 유닛(130); 및
상기 제 2 유닛(130)에 의해 촬영된 픽처에 따라 상기 물체(150)와 관련되는 적어도 하나의 피처(feature)를 검출하기 위한 제 3 유닛(141)을 포함하는, 물체를 분석하기 위한 시스템. - 제 1 항에 있어서,
상기 제공된 컬러는 크로마(chroma) 및/또는 휘도에 관하여 상기 물체(150)의 컬러와 상이한, 물체를 분석하기 위한 시스템. - 제 1 항에 있어서,
상기 제 1 유닛(120)은 상기 제공된 컬러를 결정하기 위한 제 1 모듈(310)을 포함하는, 물체를 분석하기 위한 시스템. - 제 3 항에 있어서,
상기 제 1 유닛(120)은 상기 물체(150)의 컬러 분포를 검출하기 위한 제 2 모듈(330)을 추가로 포함하고;
상기 제공된 컬러는 상기 물체(150)의 검출된 컬러 분포에 기초하여 결정되는, 물체를 분석하기 위한 시스템. - 제 3 항에 있어서,
상기 제 1 유닛(120)은 사용자 입력을 수신하기 위한 사용자 인터페이스(320)를 추가로 포함하고;
상기 제공된 컬러는 상기 사용자 입력에 따라 결정되는, 물체를 분석하기 위한 시스템. - 제 4 항에 있어서,
상기 제 1 유닛(120)은 사용자 입력을 수신하기 위한 사용자 인터페이스(320)를 추가로 포함하고;
상기 제공된 컬러는 상기 물체(150) 및 상기 사용자 입력의 검출된 컬러 분포에 기초하여 결정되는, 물체를 분석하기 위한 시스템. - 제 1 항에 있어서,
상기 물체(150)는 신체의 일부이고,
상기 시스템(10)은:
상기 제 3 유닛(141)에 의해 검출되는 상기 적어도 하나의 피처에 기초하여, 상기 신체의 일부의 제스처를 인식하기 위한 제 4 유닛(142)을 추가로 포함하는, 물체를 분석하기 위한 시스템. - 물체의 분석을 지원하기 위한 장치에 있어서:
상기 물체(150) 뒤에 배열되도록 의도되는 배경 유닛(110)으로서, 상기 배경 유닛(110)의 컬러는 컬러들의 세트 중 임의의 하나로부터 선택되는 것이 가능한, 상기 배경 유닛(110); 및
상기 배경 유닛(110)에 상기 컬러들의 세트 중 제공되는 컬러를 제공하기 위한 제 1 유닛(120)으로, 상기 제공되는 컬러는 상기 물체(150)의 컬러와 상이한, 상기 제 1 유닛(120)을 포함하는, 물체의 분석을 지원하기 위한 장치. - 제 8 항에 있어서,
상기 제 1 유닛(120)은 상기 제공되는 컬러를 결정하기 위한 제 1 모듈(310)을 추가로 포함하는, 물체의 분석을 지원하기 위한 장치. - 제 8 항에 있어서,
상기 제 1 유닛(120)은 사용자 입력을 수신하기 위한 사용자 인터페이스(320)를 추가로 포함하고;
상기 제공되는 컬러는 상기 사용자 입력에 따라 결정되는, 물체의 분석을 지원하기 위한 장치. - 제 8 항에 있어서,
상기 배경 유닛(110)은 적어도 하나의 LED가 내장되는 기판(board)인, 물체의 분석을 지원하기 위한 장치. - 물체(150)를 분석하는 방법에 있어서:
상기 물체 뒤에 배열되는 배경을 제공하는 단계(S210)로서, 상기 배경의 컬러는 컬러들의 세트 중 임의의 하나로부터 선택되는 것이 가능한, 상기 선택 단계(S210);
상기 배경에 상기 컬러들의 세트의 컬러를 제공하는 단계(S220)로서, 상기 제공되는 컬러는 상기 물체의 컬러와 상이한, 상기 제공 단계(S220);
상기 제공되는 컬러로 설정되는 배경 및 상기 물체를 포함하는 픽처를 촬영하는 단계(S230); 및
상기 촬영된 픽처에 따라 상기 물체와 관련되는 적어도 하나의 피처를 검출하기 위한 제 1 검출 단계(S240)를 포함하는, 물체를 분석하는 방법. - 제 12 항에 있어서,
상기 제공되는 컬러를 결정하는 단계를 추가로 포함하는, 물체를 분석하는 방법. - 제 13 항에 있어서,
상기 결정 단계는 사용자 입력을 수신하는 단계를 추가로 포함하고, 상기 제공되는 컬러는 상기 사용자 입력에 기초하여 결정되는, 물체를 분석하는 방법. - 제 13 항에 있어서,
상기 결정 단계는:
상기 물체의 컬러 분포를 검출하기 위한 제 2 검출 단계를 추가로 포함하고;
상기 제공되는 컬러는 상기 물체의 검출된 컬러 분포에 기초하여 결정되는, 물체를 분석하는 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910150894.1 | 2009-06-25 | ||
| CN200910150894 | 2009-06-25 | ||
| PCT/IB2010/052839 WO2010150201A1 (en) | 2009-06-25 | 2010-06-23 | Geture recognition using chroma- keying |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120112359A true KR20120112359A (ko) | 2012-10-11 |
| KR101783999B1 KR101783999B1 (ko) | 2017-11-06 |
Family
ID=42931884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020127001549A KR101783999B1 (ko) | 2009-06-25 | 2010-06-23 | 크로마－키잉을 이용한 제스처 인식 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US8817125B2 (ko) |
| EP (1) | EP2446395A1 (ko) |
| JP (1) | JP5793493B2 (ko) |
| KR (1) | KR101783999B1 (ko) |
| CN (1) | CN102804204B (ko) |
| BR (1) | BRPI1010041A2 (ko) |
| RU (1) | RU2556417C2 (ko) |
| WO (1) | WO2010150201A1 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5413673B2 (ja) * | 2010-03-08 | 2014-02-12 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| CN103903000B (zh) * | 2012-12-28 | 2020-01-31 | 联想(北京)有限公司 | 一种从背景中识别目标物体的方法及系统 |
| JP6335695B2 (ja) * | 2014-07-09 | 2018-05-30 | キヤノン株式会社 | 情報処理装置、その制御方法、プログラム、及び記憶媒体 |
| WO2018215475A1 (de) * | 2017-05-22 | 2018-11-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Beleuchtungssystem und aufnahmesystem für volumetrisches capturing |
| CN109214372B (zh) * | 2018-11-01 | 2021-04-02 | 深圳蓝胖子机器智能有限公司 | 姿态确定方法、装置和计算机可读存储介质 |
| CN112836692B (zh) * | 2020-11-27 | 2023-03-24 | 北京百度网讯科技有限公司 | 用于处理图像的方法、装置、设备和介质 |
| US11386580B1 (en) * | 2021-08-13 | 2022-07-12 | Goodsize Inc. | System apparatus and method for guiding user to comply with application-specific requirements |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5423554A (en) | 1993-09-24 | 1995-06-13 | Metamedia Ventures, Inc. | Virtual reality game method and apparatus |
| JPH09185711A (ja) * | 1995-12-28 | 1997-07-15 | Kobe Steel Ltd | 形状認識方法及び装置 |
| GB9619119D0 (en) * | 1996-09-12 | 1996-10-23 | Discreet Logic Inc | Processing image |
| US5946500A (en) * | 1997-09-18 | 1999-08-31 | Oles; Henry J. | Apparatus and method for chroma replacement |
| JP3241327B2 (ja) * | 1998-08-22 | 2001-12-25 | 大聖電機有限会社 | クロマキーシステム |
| US6674485B2 (en) * | 1998-08-31 | 2004-01-06 | Hitachi Software Engineering Co., Ltd. | Apparatus and method for image compositing |
| JP2001246161A (ja) * | 1999-12-31 | 2001-09-11 | Square Co Ltd | ジェスチャー認識技術を用いたゲーム装置およびその方法ならびにその方法を実現するプログラムを記憶した記録媒体 |
| JP2002118859A (ja) * | 2000-10-05 | 2002-04-19 | Sony Corp | 撮影装置及び撮影方法 |
| US7253832B2 (en) * | 2001-08-13 | 2007-08-07 | Olympus Corporation | Shape extraction system and 3-D (three dimension) information acquisition system using the same |
| KR100422709B1 (ko) * | 2001-10-05 | 2004-03-16 | 엘지전자 주식회사 | 영상 의존적인 얼굴 영역 추출방법 |
| JP3876985B2 (ja) * | 2002-09-18 | 2007-02-07 | オムロンエンタテインメント株式会社 | 写真シール販売機および画像印刷方法 |
| RU2268497C2 (ru) * | 2003-06-23 | 2006-01-20 | Закрытое акционерное общество "ЭЛВИИС" | Система и способ автоматизированного видеонаблюдения и распознавания объектов и ситуаций |
| US7593593B2 (en) | 2004-06-16 | 2009-09-22 | Microsoft Corporation | Method and system for reducing effects of undesired signals in an infrared imaging system |
| EP1909493B1 (en) * | 2005-03-10 | 2013-12-25 | FUJIFILM Corporation | Photographing system |
| JP2007156950A (ja) * | 2005-12-07 | 2007-06-21 | Toyota Motor Corp | 車両用操作装置 |
| US8589824B2 (en) | 2006-07-13 | 2013-11-19 | Northrop Grumman Systems Corporation | Gesture recognition interface system |
| JP2008152622A (ja) * | 2006-12-19 | 2008-07-03 | Mitsubishi Electric Corp | ポインティング装置 |
| CN101398896B (zh) * | 2007-09-28 | 2012-10-17 | 三星电子株式会社 | 用于成像设备的提取有强识别力的颜色特征的设备和方法 |
-
2010
- 2010-06-23 RU RU2012102412/08A patent/RU2556417C2/ru active
- 2010-06-23 CN CN201080028299.1A patent/CN102804204B/zh not_active Expired - Fee Related
- 2010-06-23 KR KR1020127001549A patent/KR101783999B1/ko active IP Right Grant
- 2010-06-23 JP JP2012516939A patent/JP5793493B2/ja not_active Expired - Fee Related
- 2010-06-23 US US13/377,829 patent/US8817125B2/en not_active Expired - Fee Related
- 2010-06-23 BR BRPI1010041A patent/BRPI1010041A2/pt not_active Application Discontinuation
- 2010-06-23 EP EP10739399A patent/EP2446395A1/en not_active Ceased
- 2010-06-23 WO PCT/IB2010/052839 patent/WO2010150201A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| RU2012102412A (ru) | 2013-07-27 |
| CN102804204A (zh) | 2012-11-28 |
| JP2012531652A (ja) | 2012-12-10 |
| JP5793493B2 (ja) | 2015-10-14 |
| WO2010150201A1 (en) | 2010-12-29 |
| CN102804204B (zh) | 2015-07-01 |
| US8817125B2 (en) | 2014-08-26 |
| US20120092519A1 (en) | 2012-04-19 |
| KR101783999B1 (ko) | 2017-11-06 |
| RU2556417C2 (ru) | 2015-07-10 |
| EP2446395A1 (en) | 2012-05-02 |
| BRPI1010041A2 (pt) | 2016-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11501535B2 (en) | Image processing apparatus, image processing method, and storage medium for reducing a visibility of a specific image region | |
| KR101783999B1 (ko) | 크로마－키잉을 이용한 제스처 인식 | |
| CN107992794B (zh) | 一种活体检测方法、装置和存储介质 | |
| US9652663B2 (en) | Using facial data for device authentication or subject identification | |
| CN107707871B (zh) | 图像处理设备、摄像设备、图像处理方法和存储介质 | |
| JP2023052914A (ja) | 生体検知装置、生体検知方法、および、生体検知プログラム | |
| US9258481B2 (en) | Object area tracking apparatus, control method, and program of the same | |
| CN106060417B (zh) | 一种闪光灯控制方法及终端 | |
| US20110149044A1 (en) | Image correction apparatus and image correction method using the same | |
| US10013632B2 (en) | Object tracking apparatus, control method therefor and storage medium | |
| CN110188658A (zh) | 身份识别方法、装置、电子设备及存储介质 | |
| EP2448249B1 (en) | Method for displaying an identified region together with an image, and imaging apparatus | |
| JP2014186505A (ja) | 視線検出装置及び撮像装置 | |
| CN106297734B (zh) | 用于电子终端的屏幕亮度调节方法和设备 | |
| CN112949467B (zh) | 人脸检测方法、装置、电子设备和存储介质 | |
| CN109981967B (zh) | 用于智能机器人的拍摄方法、装置、终端设备及介质 | |
| CN105677088A (zh) | 一种控制方法、电子设备 | |
| CN112926367B (zh) | 一种活体检测的设备及方法 | |
| CN107749951A (zh) | 一种用于无人摄影的视觉感知方法和系统 | |
| KR101525626B1 (ko) | 아웃 포커싱 장치 및 방법 | |
| JP5451364B2 (ja) | 被写体追跡装置及びその制御方法 | |
| CN106028140B (zh) | 一种终端用户身份登录方法和系统 | |
| US9842406B2 (en) | System and method for determining colors of foreground, and computer readable recording medium therefor | |
| CN105446717B (zh) | 信息处理方法及电子设备 | |
| CN105704353B (zh) | 摄像设备及拍摄显示方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0105 | International application |
Patent event date: 20120119 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20150623 Comment text: Request for Examination of Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20160908 Patent event code: PE09021S01D |
|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20170323 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20160908 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |
|
| AMND | Amendment | ||
| PX0901 | Re-examination |
Patent event code: PX09011S01I Patent event date: 20170323 Comment text: Decision to Refuse Application Patent event code: PX09012R01I Patent event date: 20161207 Comment text: Amendment to Specification, etc. |
|
| PX0701 | Decision of registration after re-examination |
Patent event date: 20170703 Comment text: Decision to Grant Registration Patent event code: PX07013S01D Patent event date: 20170621 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I Patent event date: 20170323 Comment text: Decision to Refuse Application Patent event code: PX07011S01I Patent event date: 20161207 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I |
|
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20170926 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20170927 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20200918 Start annual number: 4 End annual number: 4 |
|
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20220707 |