KR101275297B1 - 이동객체 추적 카메라 장치 - Google Patents

이동객체 추적 카메라 장치 Download PDF

Info

Publication number
KR101275297B1
KR101275297B1 KR1020110061318A KR20110061318A KR101275297B1 KR 101275297 B1 KR101275297 B1 KR 101275297B1 KR 1020110061318 A KR1020110061318 A KR 1020110061318A KR 20110061318 A KR20110061318 A KR 20110061318A KR 101275297 B1 KR101275297 B1 KR 101275297B1
Authority
KR
South Korea
Prior art keywords
sound
camera
moving object
unit
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020110061318A
Other languages
English (en)
Other versions
KR20130000660A (ko
Inventor
정동영
윤태옥
Original Assignee
주식회사 삼성항공정보통신
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 삼성항공정보통신 filed Critical 주식회사 삼성항공정보통신
Priority to KR1020110061318A priority Critical patent/KR101275297B1/ko
Publication of KR20130000660A publication Critical patent/KR20130000660A/ko
Application granted granted Critical
Publication of KR101275297B1 publication Critical patent/KR101275297B1/ko
Assigned to 주식회사 아이티아이에스 reassignment 주식회사 아이티아이에스 권리의 전부이전등록 Assignors: 주식회사 삼성항공정보통신
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 이동객체에 의해 발생하는 소리 및 이동객체의 움직임에 맞추어 카메라를 이동객체 방향으로 회전시킴으로써 무인으로 이동객체를 추적하게 하는 이동객체 추적 카메라 장치에 관한 것이다.
본 발명에 의하면, 보이는 부분만을 감시하거나 규칙적으로 회전하여 주변을 감시하는 것을 개선하여 카메라가 설치된 주변 환경을 효율적으로 감시하는 것을 가능하게 하며, 이동객체를 자동으로 감지하고 추적할 수 있게 함으로써 카메라의 설치 수량을 줄이고 이동객체에 대한 추적기능을 원활하게 수행할 수 있다.

Description

이동객체 추적 카메라 장치{Camera Apparatus of tracking moving object}
본 발명은 이동객체 추적 카메라 장치에 관한 것으로서, 더욱 상세하게는, 이동객체에서 발생하는 소리 및 이동객체의 움직임에 맞추어 카메라를 이동객체 방향으로 자동으로 회전시킴으로써 무인으로 이동객체를 추적하여 촬영하는 이동객체 추적 카메라 장치에 관한 것이다.
카메라의 성능이 향상되어, 최근의 카메라는 밤에도 낮처럼 잘 보이는 기능을 가진다. 예를 들어 적외선 IR을 장착하거나, 축적 모드 기능 등을 사용하여 밤의 영상을 많이 개선하였지만, 촬영 거리 및 촬영 범위가 미흡하여 카메라 기능이 잘 활용되지 못하고 있다.
한편 종래의 감시 카메라는 보이는 부분만을 감시하거나 카메라를 규칙적으로 회전하여 주변을 감시하도록 한다. 이처럼 보이는 부분만을 감시하거나 주기적으로 회전하여 주변을 촬영하는 감시 카메라의 경우, 사각지대가 많이 생기는 문제와 그 사각지대를 없애기 위해 카메라의 수량이 많아지는 문제점이 있다.
본 발명이 해결하고자 하는 과제는, 이동객체에서 발생하는 소리 및 이동객체의 움직임에 맞추어 카메라를 이동객체 방향으로 자동으로 회전시킴으로써, 이동객체에 대한 자동 감시 및 추적 기능을 수월하게 하고 카메라 수량을 줄일 수 있는 이동객체 추적 카메라 장치를 제공하는 데 있다.
상기한 과제를 해결하기 위해 본 발명은, 실시간으로 전방을 촬영하여 영상정보를 생성하는 카메라와, 카메라와 연결되어 카메라를 회전시키는 회전부를 포함하는 카메라부; 사람을 포함한 이동객체에서 발생하는 소리를 감지하여 소리신호를 생성하는 소리 센서부; 및 이동객체가 위치한 방향을 촬영하도록 카메라부를 제어하는 카메라 제어부를 포함하되, 상기 카메라 제어부는, 소리신호를 분석하여 소리의 발생 방향인 소리방향을 판단하는 소리 분석부; 영상정보를 분석하여 영상정보 내의 이동객체를 감지하는 영상 분석부; 및 소리방향으로 카메라가 향하도록 회전부를 제어하되, 영상정보 내의 이동객체가 영상정보의 중심부에 위치하도록 회전부를 제어하는 회전 제어부를 포함하는, 이동객체 추적 카메라 장치를 제공하는 것을 특징으로 한다.
바람직하게는, 상기 소리 센서부는, 소정의 분할된 방향으로 각각 배치되는 복수의 소리 감지 센서를 포함하며, 상기 소리 분석부는, 복수의 소리 감지 센서에서 생성된 소리신호들의 세기를 각각 분석하여 소리방향을 판단하는 소리방향 판단부를 포함할 수 있다.
바람직하게는, 상기 영상 분석부는, 영상정보를 분석하여 이동객체를 감지하는 이동객체 감지부; 및 영상정보를 분석하여 이동객체의 이동방향을 판단하는 이동방향 판단부를 포함할 수 있다.
바람직하게는, 상기 카메라 제어부는, 이동객체와의 거리 및 이동방향에 따라 카메라에 대한 초점거리를 제어하는 초점 제어부를 더 포함할 수 있다.
바람직하게는, 상기 카메라 제어부는, 소리방향에서 촬영한 영상정보에서 이동객체가 감지되지 않은 경우, 카메라에 대하여 줌 아웃하도록 초점거리를 제어할 수 있다.
바람직하게는, 상기 카메라 제어부는, 소리방향이 복수인 경우, 소리가 발생한 순서를 기초로 각각의 소리방향으로 카메라를 회전시키고, 각각의 소리방향에 대한 영상정보를 생성하도록 제어할 수 있다.
본 발명에 의하면, 보이는 부분만을 감시하거나 규칙적으로 회전하여 주변을 감시하는 기존기술을 개선하여 카메라가 설치된 주변 환경을 효율적으로 감시하는 것을 가능하게 하며, 이동객체를 자동으로 감지하고 추적할 수 있게 함으로써 카메라의 설치 수량을 줄이고 이동객체에 대한 추적기능을 원활하게 수행할 수 있다.
도 1은 본 발명에 따른 이동객체 추적 카메라 장치를 나타낸 블록도.
도 2는 도 1의 카메라부 및 카메라 제어부를 상세히 나타낸 블록도.
도 3은 소리 분석부를 상세히 설명한 도면.
도 4는 영상 분석부를 상세히 설명한 도면.
도 5는 본 발명에 따른 이동객체 추적 카메라 장치를 예시한 도면.
도 6은 본 발명에 따른 이동객체 추적 카메라 장치의 동작을 예시한 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명은 이동객체 추적 카메라 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는, 이동객체에 의해 발생하는 소리 및 이동객체의 움직임에 맞추어 카메라를 이동객체 방향으로 회전시킴으로써 무인으로 이동객체를 추적하게 하는 이동객체 추적 카메라 장치 및 그 방법에 관한 것이다.
이하에서 첨부된 도면을 참조하여, 본 발명의 바람직한 실시예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명에 따른 이동객체 추적 카메라 장치를 나타낸 블록도이다.
도 1을 참조하면, 본 발명에 따른 이동객체 추적 카메라 장치(100)는 카메라부(110), 소리 센서부(120) 및 카메라 제어부(130)를 포함하며, 저장부(140), 통신부(150) 및 부가 센서부(160) 중의 적어도 하나를 더 포함할 수 있다.
카메라부(110)는 후술할 카메라 제어부(130)의 제어에 따라 이동객체가 위치하는 방향으로 카메라를 회전시키고, 전방을 촬영하여 영상정보를 실시간으로 생성한다. 이동객체란 이동하는 물체를 의미하여, 예를 들어 사람을 포함하여 자동차, 자전거 등 모든 움직이는 물체를 의미한다.
소리 센서부(120)는 사람을 포함한 이동객체에서 발생하는 소리를 감지하여 소리신호를 생성한다. 소리 센서부(120)는 사람의 발자국 소리, 자동차나 오토바이 등의 주행 소리 등 이동객체에서 발생할 수 있는 다양한 소리를 감지할 수 있다. 후술하겠지만, 소리 센서부(120)는 소정의 분할된 방향에 각각 배치되는 복수의 소리 감지 센서를 포함할 수 있다.
카메라 제어부(130)는 카메라부(110)가 이동객체를 추적하며 촬영할 수 있도록 카메라부(110)를 제어하는 역할을 수행한다.
부가 센서부(160)는 소리 외에 주변에서 발생할 수 있는 여러 징후들을 감지하여 부가 센서신호를 생성하는 각종 센서들로 이뤄지며, 여기서 부가 센서신호는 빛 센서신호, 동작 센서신호, 열 센서신호를 포함할 수 있다. 부가 센서부(160)는 주변에서 발생하는 빛을 감지하여 빛 센서신호를 생성하는 빛 감지 센서(161), 주변에 위치한 물체의 움직임을 감지하여 동작 센서신호를 생성하는 동작 감지 센서(162), 및 주변의 열을 감지하여 열 센서신호를 생성하는 열 감지 센서(163)를 포함한다.
저장부(140)는 카메라부(110)에서 생성된 영상정보 및 소리 센서부(120)에서 생성된 소리신호를 저장하며, 또한 부가 센서부(160)에서 생성된 부가 센서신호를 저장할 수 있다.
통신부(150)는 이동객체 추적 카메라 장치(100)를 중앙에서 관리하는 관리서버(200)와 통신망을 통해 통신하는 역할을 수행한다. 통신부(150)는 저장부(140)에 저장된 영상정보, 소리신호 및 센서신호 등을 관리서버(200)로 전송하며, 관리서버(200)로부터는 카메라부(110)를 제어하기 위한 각종 외부 제어신호를 수신할 수 있다. 예를 들어, 관리서버(200)를 관리하는 관리자는 카메라부(110)에 포함된 카메라의 회전방향 및 초점거리를 제어하는 외부 제어신호를 통신부(150)로 전송함으로써 원격지에서 카메라부(110)를 제어할 수 있다.
이하에서는 이동객체 추적 카메라 장치(100)를 구성하는 각 구성요소에 대하여 좀 더 상세하게 설명하도록 하며, 중복되는 설명은 생략하도록 한다.
도 2는 도 1의 카메라부 및 카메라 제어부를 상세히 나타낸 블록도이다.
도 2를 참조하면, 카메라부(110)는 실시간으로 전방을 촬영하여 영상정보를 생성하는 카메라(111) 및 카메라(111)와 연결되어 카메라를 회전시키는 회전부(112)를 포함한다.
카메라(111)는 빛을 받아들이고 초점거리를 조정할 수 있는 렌즈, 및 렌즈를 통과한 빛을 변환하여 영상정보를 생성하는 이미지센서 등을 포함하며, 초점 제어신호에 의해 렌즈의 초점거리를 조절할 수 있다. 여기서, 영상정보란 동영상 및 정지영상을 포함하는 개념으로서, 생성된 영상정보는 카메라 제어부(130) 및 저장부(140)로 제공된다.
초점 제어신호는 렌즈의 초점거리를 제어하기 위한 신호로서, 줌 아웃 신호와 줌 인 신호를 포함한다. 줌 아웃(zoom out) 신호에 의해 렌즈의 초점거리는 짧아지고, 줌 인(zoom in) 신호에 의해 렌즈의 초점거리는 길어진다.
줌 아웃(zoom out)이란 렌즈의 초점거리가 짧아지는 것으로서 화각이 커져 시야가 넓어지고 물체의 상이 축소된다. 반대로 줌 인(zoom in)이란 렌즈의 초점거리가 길어지는 것으로서 화각이 작아져 시야가 좁아지고 물체의 상이 확대된다.
회전부(112)는 카메라(111)와 일체로 연결되어 회전 제어신호에 의해 카메라(111)를 수직 및 수평 방향으로 회전시키는 구동 장치이다. 회전부(112)는 모터 및 연결부(미도시) 등으로 구성되며, 카메라를 원하는 방향으로 향하게 하기 위하여 회전 제어신호에 기초하여 카메라(111)를 수평 및 수직 방향으로 팬(pan) 틸트(tilt) 회전시킨다.
카메라 제어부(130)는 소리 분석부(131), 영상 분석부(132), 및 회전 제어부(133)를 포함하며, 추가로 초점 제어부(134) 및 부가신호 분석부(135) 중의 적어도 하나를 더 포함할 수 있다.
소리 분석부(131)는 소리 센서부(120)에서 생성된 소리신호를 분석하여 소리를 발생시킨 이동객체의 소리방향을 판단한다. 더욱 상세하게는 소리 분석부(131)는 소리신호를 분석하여 이동객체의 종류, 개수 및 각 이동객체의 소리방향에 대한 정보를 포함하는 소리 분석 결과를 생성한다. 전술한 것처럼 소리 센서부(120)는 소정의 분할된 방향으로 각각 배치되는 복수의 소리 감지 센서(미도시)들로 구성되는데, 소리 분석부(131)는 각각의 소리 감지 센서에서 생성된 소리신호들의 세기를 분석하여 소리방향을 판단한다. 생성된 소리 분석 결과는 회전 제어부(133)로 제공되고, 회전 제어부(133)는 카메라(111)가 이동객체의 소리방향 쪽을 향하도록 회전부(112)를 회전시키는 회전 제어신호를 생성하고 이를 회전부(112)로 제공한다.
영상 분석부(132)는 카메라(111)에서 생성된 영상정보를 분석하여 영상정보 내서의 이동객체의 존재 여부를 감지하고, 영상정보 내에서의 이동객체의 위치 및 이동방향을 판단한다.
한편 영상 분석부(132)는 소리방향 쪽으로 카메라(111)가 회전한 후 생성된 영상정보 내에서 이동객체가 감지되지 않은 경우, 이를 초점 제어부(134) 또는 회전 제어부(133)로 알려준다. 소리방향을 향하여 촬영한 영상정보에서 이동객체가 감지되지 않은 경우, 초점 제어부(134)는 줌 아웃 신호를 생성하여 카메라(111)가 줌 아웃되도록 제어할 수도 있으며, 회전 제어부(133)는 카메라(111)가 소리방향의 주변을 소정 각도로 상하 좌우로 회전하도록 제어할 수도 있다. 소리방향을 향하여 촬영한 영상정보에서 이동객체가 감지되지 않은 경우, 카메라(111)가 줌 아웃되거나 소정 각도만큼 회전됨으로써 감시 사각지대를 줄일 수 있다.
영상정보 내에서의 이동객체 위치는 좌표 형식으로 판단될 수 있다. 이동객체 위치에 기초하여, 영상 분석부(132)는 이동객체가 영상의 중심에서 어느 방향으로 어느 정도 벗어나 존재하고 있는지를 측정할 수 있다. 또한 렌즈의 초점거리를 알 수 있으므로, 영상 분석부(132)는 이동객체 위치에 기초하여, 회전부(112)를 어느 방향으로 어느 정도 회전시키면 이동객체가 영상의 중심부에 놓이게 될지를 측정할 수 있다. 또한 영상 분석부(132)는 이동객체의 움직임을 분석함으로써 이동객체의 이동방향을 판단할 수 있다.
결론적으로 영상 분석부(132)는 영상정보를 통하여 이동객체의 존재 여부, 이동객체의 위치 및 이동방향에 대한 정보를 포함하는 영상 분석 결과를 생성하며, 생성된 영상 분석 결과는 회전 제어부(133) 및 초점 제어부(134)로 제공된다.
회전 제어부(133)는 소리 분석부(131)의 소리 분석 결과 및 영상 분석부(132)의 영상 분석 결과에 따라 회전 제어신호를 생성하며, 추가로 부가신호 분석부(135)의 부가 분석 결과에 따라 회전 제어신호를 생성할 수 있다.
좀 더 상세히 설명하면, 회전 제어신호는 제1 회전 제어신호 및 제2 회전 제어신호를 포함하며, 추가로 제3 회전 제어신호를 포함할 수 있다. 제1 회전 제어신호는 소리 분석부(131)에 의해 판단된 소리방향을 기초로 생성된 회전 제어신호이며, 제2 회전 제어신호는 영상 분석부(132)에 의한 영상 분석 결과를 기초로 생성된 회전 제어신호이다. 그리고 제3 회전 제어신호는 소리방향을 향하여 촬영한 영상정보에서 이동객체가 감지되지 않은 경우 이동객체가 감지될 때까지 카메라(111)를 소리방향에서 소정 각도만큼 상하 좌우로 순차적으로 회전시키는 제어신호이다. 각각의 회전 제어신호는 회전부(112)의 회전 방향, 회전 속도 및 회전량에 대한 정보인 회전 정보를 포함한다.
즉, 회전 제어부(133)는 우선 소리방향 쪽으로 카메라(111)가 향하도록 회전부(112)를 회전시키는 제1 회전 제어신호를 생성하고, 그리고 나서 영상정보 내의 이동객체가 영상의 중심부에 위치하도록 회전부(112)를 미세하게 회전시키는 제2 회전 제어신호를 생성한다. 만일 이동객체가 감지되지 않은 경우, 회전 제어부(133)는 상하 좌우로 순차적으로 회전시키는 제3 제어신호를 생성한다.
제1, 제2 및 제3 회전 제어신호는 회전부(112)로 전송된다. 제1, 제2 및 제3 회전 제어신호에 의해 회전부(112)의 회전이 제어됨으로써 카메라(111)는 이동객체를 정밀하게 추적할 수 있으며, 감시 사각지대를 줄일 수 있다.
또한, 소리방향이 복수인 경우, 회전 제어부(133)는 소리가 발생한 순서를 기초로 각각의 소리방향으로 카메라(111)를 회전시켜, 각각의 소리방향에 대한 영상정보를 생성하도록 제어한다. 카메라(111)가 회전된 후 생성된 영상정보에서 이동객체가 감지되지 않은 경우, 초점 제어부(134)가 카메라(111)를 줌 아웃하거나 회전 제어부(133)가 카메라(111)를 소정 각도만큼 회전시킴으로써 소리방향에 대한 영상정보 내에 이동객체가 반드시 포함되는 방식으로 제어할 수 있다. 또한, 영상정보에서 이동객체가 차지하는 크기가 작은 경우, 이동객체의 확인이 어려울 수 있으므로 초점 제어부(134)가 이동객체를 줌 인하도록 제어할 수도 있다.
초점 제어부(134)는 카메라(111)로부터 이동객체까지의 거리, 이동객체의 이동방향, 및 영상정보 내에서 이동객체가 차지하는 크기 등에 따라 카메라(111)의 렌즈에 대한 초점거리를 제어하는 초점 제어신호를 생성한다. 초점 제어신호는 카메라(111)로 전송되며, 초점 제어신호에 의해 카메라(111)의 렌즈의 초점거리가 조절된다.
또한 초점 제어부(134)는 소리방향에서 촬영한 영상정보에서 이동객체가 감지되지 않은 경우, 줌 아웃 신호를 생성하여 카메라(111)로 전송할 수 있다. 카메라(111)는 줌 아웃 신호에 의해 줌 아웃되어 넓은 지역을 촬영함으로써 감시 사각지대를 줄일 수 있다.
부가신호 분석부(135)는 부가 센서신호를 분석하여 이동객체의 위치 및 움직임에 대한 정보를 포함하는 부가 분석 결과를 생성하고, 이를 회전 제어부(133)로 제공한다. 예를 들어 부가신호 분석부(135)는 이동객체에서 발생하는 빛, 움직임, 및 열을 분석하여 이동객체의 위치 및 동작을 판단함으로써, 소리 분석부(131) 및 영상 분석부(132)에서 미처 감지하지 못한 이동객체를 감지하거나 소리 분석부(131) 및 영상 분석부(132)에 의한 이동객체의 감지 결과를 보충할 수 있다.
도 3은 소리 분석부를 상세히 설명한 도면이다.
도 3을 참조하면, 소리 분석부(131)는 소리 필터(1311), 소리패턴 분석부(1312), 및 소리방향 판단부(1313)를 포함할 수 있다.
소리 필터(1311)는 소리신호를 분석함으로써 소리신호에서 감시가 불필요한 소리를 거르는 역할을 수행한다. 예를 들어 소리 필터(1311)는 바람소리, 빗소리, 동물이 내는 소리 등 자연에서 발생하는 소리의 주파수 패턴에 상응하는 소리신호를 제외함으로써, 자연에서 발생하는 소리에 반응하여 자연에서 발생하는 소리방향으로 카메라(111)가 회전하는 것을 방지한다.
소리 필터(1311)를 이용하여 제외할 소리신호의 패턴은 환경 및 목적에 따라 사용자에 의해 적합하게 설정되거나 수정될 수 있으며, 전술한 통신부(150)를 통해 원격지에서 설정 및 수정될 수도 있다.
소리패턴 분석부(1312)는 수집된 소리신호들의 패턴을 분석하여 이동객체에서 발생하는 소리를 확인하고 분류하는 역할을 수행한다.
소리 센서부(120)는 소정의 분할된 방향으로 각각 배치되는 복수의 소리 감지 센서들로 구성될 수 있다. 이때 소리 센서부(120)의 복수의 소리 감지 센서는 다수의 이동객체 들에서 발생하는 다양한 소리를 감지하게 된다. 예를 들어 사람 및 자동차가 이동객체 추적 카메라 장치(100)의 주변을 동시에 지나가는 경우, 복수의 소리 감지 센서는 동시에 사람 및 자동차에서 발생하는 소리를 감지하고 소리신호를 생성한다.
소리패턴 분석부(1312)는 다양한 소리신호들의 패턴을 분석하여 이동객체의 종류 및 개수를 판단하고, 이동객체의 종류 및 개수에 대한 정보를 포함하는 소리패턴 분석정보를 생성한다.
이동객체에서 발생하는 소리신호는 그 이동객체의 종류에 따라 고유한 주파수 패턴을 가진다. 또한 이동객체의 종류가 동일하다 해도 이동객체가 상이한 경우 그 소리신호가 상이하다. 예를 들어 이동객체가 자동차인 경우 자동차의 모델에 따라 발생하는 소리의 주파수 패턴이 상이할 수 있다.
이처럼 소리패턴 분석부(1312)는 소리신호를 분석함으로써 소리패턴 분석정보를 생성한다. 이를 위해 소리패턴 분석부(1312)는 이동객체에서 발생할 수 있는 다양한 소리들의 주파수 패턴들을 이동객체의 종류별로 기준 패턴으로서 저장하고 있으며, 소리신호들을 기준 패턴과 비교함으로써 이동객체의 종류를 판별한다. 이동객체가 복수 개인 경우, 소리패턴 분석부(1312)는 수집된 소리신호에서 각 이동객체에 따른 소리신호들을 각각 추출할 수 있으며, 이동객체의 종류 및 개수에 따라 추출된 소리신호를 기초로 이동객체의 종류 및 개수를 판단하여 소리 패턴 분석 정보를 생성한다.
소리방향 판단부(1313)는 소리패턴 분석정보를 기초로 각각의 소리 감지 센서에서 생성된 소리신호의 세기를 분석하여 이동객체에서 발생한 소리의 발생 방향인 소리방향을 판단한다. 이동객체가 복수 개인 경우, 소리방향 판단부(1313)는 각각의 이동객체의 소리방향을 판단할 수 있다.
도 4는 영상 분석부를 상세히 설명한 도면이다.
도 4를 참조하면, 영상 분석부(132)는 이동객체 감지부(1321) 및 이동방향 판단부(1322)를 포함한다.
이동객체 감지부(1321)는 카메라(111)에서 생성된 영상정보를 분석하여 이동객체를 감지하는 역할을 수행한다. 이동객체 감지부(1312)는 영상정보의 패턴을 분석하여 고정된 물체가 아닌 움직이는 이동객체의 존재 여부 여부를 판단하고, 이동객체가 존재하는 경우 영상정보 내에서의 그 이동객체 위치를 계측한다. 카메라(111)의 설치 지점, 카메라의 회전 정보, 및 카메라의 초점거리를 알 수 있으므로, 이동객체 감지부(1321)는 영상정보 내에서 이동객체가 존재하고 있는 위치를 계측할 수 있다. 이러한 이동객체 위치에 기초하여, 이동객체 감지부(1321)는 이동객체가 영상의 중심에서 어느 방향으로 어느 정도 벗어나 존재하고 있는지를 계측할 수 있다. 또한 렌즈의 초점거리(또는 화각)를 알고 있으므로, 이동객체 감지부(1321)는 이동객체 위치에 기초하여 회전부(112)를 어느 방향으로 어느 정도 회전시키면 이동객체가 영상의 중심부에 놓이게 될지를 측정할 수 있다.
이동방향 판단부(1322)는 영상정보를 분석하여 이동객체의 움직임을 분석함으로써 이동객체의 이동방향을 판단한다.
도 5는 이동객체 추적 카메라 장치를 예시한 도면이다.
도 5에는 복수의 소리 감지 센서(120_1~120_4) 및 회전 가능한 카메라(111)가 도시되어 있다.
소리 감지 센서(120_1~120_4)는 4개의 방향을 바라보며 서로 90°각도로 배치되어 있다. 소리 감지 센서(120_1~120_4)의 개수 및 바라보는 방향은 도 5에 한정되지 않고 다양한 방식으로 배치될 수 있다. 예를 들어, 도 5에서 소리 감지 센서(120_1~120_4)는 동서남북 방향으로 4개가 배치되었으나, 정밀도 향상을 위해 6개 방향으로 서로 60°각도로 벌어져서 6개의 센서가 배치될 수도 있으며, 또한 별도의 소리 감지 센서가 지면을 향하도록 추가로 배치될 수도 있다.
한편, 도 5에 도시되지는 않았지만 소리 감지 센서(120_1~120_4)의 주변에는 빛, 동작, 및 열 중의 적어도 하나를 감지할 수 있는 부가 센서부(160)가 함께 배치될 수도 있다. 물론 부가 센서부(160)는 카메라(111)의 렌즈 주변에 배치되어 카메라(111)의 회전에 따라 함께 회전하도록 배치될 수도 있다.
카메라(111)는 카메라(111)와 연결된 회전부(112)에 의해 수평 방향(x) 및 수직 방향(y)으로 회전함으로써 카메라(111)가 설치된 장소의 주변을 촬영할 수 있다.
도 6은 본 발명에 따른 이동객체 추적 카메라 장치의 동작을 예시한 도면이다.
도 6에서 소리 감지 센서(120_1~120_4)는 서로 90°각도로 벌어져서 4개의 방향을 바라보도록 배치되어 있으며, 카메라(111)는 소정의 화각(a)으로 영상정보를 생성하고 있다.
이동객체(obj)인 자동차가 남쪽(S)에서 이동객체 추적 카메라 장치(100)로 접근하는 경우를 예로 들어 설명하도록 한다.
자동차(obj)가 남쪽(S)에서 접근하면, 각각의 소리 감지 센서(120_1~120_4)는 자동차에서 발생하는 자동차 소리를 감지하고 소리신호를 생성한다.
카메라 제어부(130)의 소리 분석부(131)는 소리신호를 분석하여 이동객체의 종류 및 개수를 판단하고 그에 따른 소리패턴 분석정보를 생성한다. 남쪽(S)에서 접근하고 있으므로 남쪽에 배치된 소리 감지 센서(120_3)에서 생성된 소리신호의 세기가 가장 크므로, 소리 분석부(131)는 이동객체의 소리방향을 남쪽으로 판단한다. 소리 분석부(131)는 이동객체의 종류, 개수, 및 이동객체의 소리방향에 대한 정보를 포함하는 소리 분석 결과를 생성하고 이를 카메라 제어부(130)로 제공한다.
카메라 제어부(130)의 회전 제어부(133)는 소리 분석 결과에 기초하여 회전부(112)를 제어함으로써 카메라(111)가 소리방향으로 회전하도록 한다.
그에 따라 카메라(111)는 이동객체의 접근 방향인 남쪽(S)으로 회전(카메라(111) 렌즈의 중심축(c)이 이동객체(obj)가 접근하는 방향으로 회전)되고, 카메라(1110)는 남쪽(S)을 촬영하여 영상정보를 생성한다.
카메라 제어부(130)의 영상 분석부(132)는 생성된 영상정보를 실시간으로 분석하여 이동객체의 존재 여부, 이동객체의 위치, 이동객체의 이동방향을 포함하는 영상 분석 결과를 생성한다.
카메라 제어부(130)의 회전 제어부(133)는 영상 분석 결과에 따라서 영상정보 내에서 이동객체가 영상정보의 중심부에 위치하도록 회전부(112)를 제어한다. 소리방향을 향하여 촬영한 영상정보에서 이동객체가 감지되지 않은 경우, 카메라(111)가 줌 아웃되거나 소정 각도만큼 회전되도록 제어될 수 있다.
또한 카메라 제어부(130)의 초점 제어부(134)는 카메라(111)로부터 이동객체까지의 거리 및 이동객체의 이동방향에 따라 카메라(111)의 렌즈에 대한 초점거리를 제어할 수도 있다.
한편, 도면에 도시되어 있지는 않으나, 이동객체가 복수 개인 경우를 설명하도록 한다.
이동객체가 복수 개인 경우, 소리 분석부(131)는 소리신호를 분석하여 이동객체의 종류, 개수 및 각 이동객체의 소리방향에 대한 정보를 포함하는 소리 분석 결과를 생성한다. 소리 분석 결과는 이동객체의 개수 및 각 이동객체의 소리방향에 대한 정보가 포함되어 있다.
회전 제어부(132)는 소리가 발생한 순서를 기초로 각각의 소리방향으로 카메라(111)가 회전하도록 제어함으로써, 각각의 소리방향에 대하여 영상정보가 생성될 수 있도록 한다.
예를 들어, 이동객체가 2개인 경우, 회전 제어부(132)는 먼저 발생한 소리방향으로 카메라(111)가 회전되도록 제어하여 하나의 이동객체에 대한 영상정보가 생성되도록 한다. 그리고 나서, 나중에 발생한 소리방향으로 카메라(111)가 회전되도록 제어하여 나머지 이동객체에 대한 영상정보가 생성되도록 한다.
물론, 카메라(111)가 회전된 후 생성된 영상정보에서 이동객체가 감지되지 않은 경우, 카메라(111)가 줌 아웃되거나 소정 각도만큼 회전되는 방식으로 제어될 수 있다. 또한, 영상정보에서 이동객체가 차지하는 크기가 작은 경우, 이동객체의 확인이 어려울 수 있으므로 이동객체를 줌 인하도록 제어될 수도 있다.
이상에서는 도면에 도시된 구체적인 실시예를 참고하여 본 발명을 설명하였으나 이는 예시적인 것에 불과하므로, 본 발명이 속하는 기술 분야에서 통상의 기술을 가진 자라면 이로부터 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 보호 범위는 후술하는 특허청구범위에 의하여 해석되어야 하고, 그와 동등 및 균등한 범위 내에 있는 모든 기술적 사상은 본 발명의 보호 범위에 포함되는 것으로 해석되어야 할 것이다.
이동객체 추적 카메라 장치, 100 카메라부, 110
소리 센서부, 120 카메라 제어부, 130
저장부, 140 통신부, 150
부가 센서부, 160

Claims (7)

  1. 실시간으로 전방을 촬영하여 영상정보를 생성하는 카메라와, 상기 카메라와 연결되어 상기 카메라를 회전시키는 회전부를 포함하는 카메라부;
    사람을 포함한 이동객체에서 발생하는 소리를 감지하여 소리신호를 생성하는 소리 센서부; 및
    상기 이동객체가 위치한 방향을 촬영하도록 상기 카메라부를 제어하는 카메라 제어부를 포함하되, 상기 카메라 제어부는,
    상기 소리신호를 분석하여 소리의 발생 방향인 소리방향을 판단하는 소리 분석부;
    상기 영상정보를 분석하여 상기 영상정보 내의 이동객체를 감지하고 상기 이동객체의 이동방향을 판단하는 영상 분석부;
    상기 소리방향으로 상기 카메라가 향하도록 상기 회전부를 제어하되, 상기 영상정보 내의 이동객체가 상기 영상정보의 중심부에 위치하도록 상기 회전부를 제어하는 회전 제어부; 및
    상기 이동객체와의 거리 및 이동방향에 따라 상기 카메라에 대한 초점거리를 제어하는 초점 제어부를 포함하는 것을 특징으로 하는, 이동객체 추적 카메라 장치.
  2. 제1항에 있어서,
    상기 소리 센서부는, 소정의 분할된 방향으로 각각 배치되는 복수의 소리 감지 센서를 포함하며,
    상기 소리 분석부는, 상기 복수의 소리 감지 센서에서 생성된 소리신호들의 세기를 각각 분석하여 상기 소리방향을 판단하는 소리방향 판단부를 포함하는 것을 특징으로 하는, 이동객체 추적 카메라 장치.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서, 상기 카메라 제어부는
    상기 소리방향에서 촬영한 영상정보에서 이동객체가 감지되지 않은 경우, 상기 카메라에 대하여 줌 아웃하도록 초점거리를 제어하는 것을 특징으로 하는, 이동객체 추적 카메라 장치.
  6. 제1항에 있어서, 상기 이동객체 추적 카메라 장치는
    상기 소리신호 및 상기 영상정보를 저장하는 저장부를 더 포함하는 것을 특징으로 하는, 이동객체 추적 카메라 장치.
  7. 제1항에 있어서, 상기 카메라 제어부는
    상기 소리방향이 복수인 경우, 소리가 발생한 순서를 기초로 각각의 소리방향으로 상기 카메라를 회전시키고, 각각의 소리방향에 대한 영상정보를 생성하도록 제어하는 것을 특징으로 하는, 이동객체 카메라 장치.
KR1020110061318A 2011-06-23 2011-06-23 이동객체 추적 카메라 장치 Expired - Fee Related KR101275297B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110061318A KR101275297B1 (ko) 2011-06-23 2011-06-23 이동객체 추적 카메라 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110061318A KR101275297B1 (ko) 2011-06-23 2011-06-23 이동객체 추적 카메라 장치

Publications (2)

Publication Number Publication Date
KR20130000660A KR20130000660A (ko) 2013-01-03
KR101275297B1 true KR101275297B1 (ko) 2013-06-17

Family

ID=47834092

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110061318A Expired - Fee Related KR101275297B1 (ko) 2011-06-23 2011-06-23 이동객체 추적 카메라 장치

Country Status (1)

Country Link
KR (1) KR101275297B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11743570B1 (en) 2022-05-18 2023-08-29 Motorola Solutions, Inc. Camera parameter adjustment based on frequency shift
US12094134B2 (en) 2021-08-04 2024-09-17 Hyundai Motor Company Electronic device and method for tracking object thereof
WO2026005186A1 (ko) * 2024-06-26 2026-01-02 삼성전자 주식회사 이미지를 제공하는 방법 및 이를 지원하는 전자 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101299988B1 (ko) * 2013-02-25 2013-08-30 에코아이넷 주식회사 Ａｖ 정보를 이용한 추적 제어 시스템
KR101498494B1 (ko) * 2013-07-19 2015-03-05 주식회사 라이브존 다기능 감시 카메라 제어시스템
KR101483614B1 (ko) * 2014-07-11 2015-01-26 주식회사 다누시스 모션감지를 이용한 실외 방범 장치
KR101664733B1 (ko) * 2015-08-11 2016-10-24 고려대학교 산학협력단 전 방향 고해상도 추적 녹화 장치 및 방법
CN105357442A (zh) 2015-11-27 2016-02-24 小米科技有限责任公司 摄像头拍摄角度调整方法及装置
US11716450B2 (en) 2019-11-25 2023-08-01 Electronics And Telecommunications Research Institute Method and apparatus for configuring detection area based on rotatable camera
KR102527133B1 (ko) * 2021-04-12 2023-05-02 주식회사 엘지유플러스 영상 분석 대상 판별 서버 및 그 제어방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007053513A (ja) 2005-08-17 2007-03-01 Sony Corp カメラ制御装置および電子会議システム
KR20080047654A (ko) * 2006-11-27 2008-05-30 정근산 음성추적 및 영상추적을 통한 카메라 투시방향 제어방법 및장치
KR20090111495A (ko) * 2008-04-22 2009-10-27 동국대학교 산학협력단 마이크로폰 어레이를 이용한 감시 장치
KR20090116102A (ko) * 2008-05-06 2009-11-11 중앙대학교 산학협력단 보안 시스템 및 보안 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007053513A (ja) 2005-08-17 2007-03-01 Sony Corp カメラ制御装置および電子会議システム
KR20080047654A (ko) * 2006-11-27 2008-05-30 정근산 음성추적 및 영상추적을 통한 카메라 투시방향 제어방법 및장치
KR20090111495A (ko) * 2008-04-22 2009-10-27 동국대학교 산학협력단 마이크로폰 어레이를 이용한 감시 장치
KR20090116102A (ko) * 2008-05-06 2009-11-11 중앙대학교 산학협력단 보안 시스템 및 보안 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12094134B2 (en) 2021-08-04 2024-09-17 Hyundai Motor Company Electronic device and method for tracking object thereof
US11743570B1 (en) 2022-05-18 2023-08-29 Motorola Solutions, Inc. Camera parameter adjustment based on frequency shift
WO2026005186A1 (ko) * 2024-06-26 2026-01-02 삼성전자 주식회사 이미지를 제공하는 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
KR20130000660A (ko) 2013-01-03

Similar Documents

Publication Publication Date Title
KR101275297B1 (ko) 이동객체 추적 카메라 장치
CN113850137B (zh) 一种输电线路图像在线监测方法、系统及设备
KR100879623B1 (ko) Ｐｔｚ 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법
CN101789177B (zh) 越、压黄线的车辆检测跟踪和车辆信息抓拍装置及其方法
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
CN103179342B (zh) 监控摄像机和监控方法
CN103929592A (zh) 全方位智能监控设备及方法
KR102713573B1 (ko) 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치
KR101496390B1 (ko) 차량번호인식 시스템
CN101924923B (zh) 嵌入式智能自动变焦抓拍方法
CN109887221A (zh) 一种火灾智能检测系统及其控制方法
CN109120883B (zh) 基于远近景的视频监控方法、装置及计算机可读存储介质
CN104902246A (zh) 视频监视方法和装置
KR101852058B1 (ko) 듀얼 카메라를 이용한 돌발 상황 감지방법
KR101326707B1 (ko) 방범 및 차량번호인식 일체형 카메라 시스템
KR101785017B1 (ko) 모니터링 카메라
CN106060452A (zh) 用来控制监视系统的方法和装置
CN107507245A (zh) 一种车辆跟驰轨迹的动态采集方法及系统
CN111914592A (zh) 多相机联合取证方法、装置及系统
KR102713540B1 (ko) 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치
JP6723208B2 (ja) 監視カメラの向上した方向制御
JP2011109630A (ja) カメラ装置用雲台
CN103731642B (zh) 高速全方位跟踪监控设备
CN202190348U (zh) 目标自动跟踪智能摄像机
KR101836882B1 (ko) 전방위 카메라 및 팬틸트줌카메라 연동 촬영장치 및 이의 구동 방법

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P16-X000 Ip right document amended

St.27 status event code: A-5-5-P10-P16-nap-X000

Q16-X000 A copy of ip right certificate issued

St.27 status event code: A-4-4-Q10-Q16-nap-X000

FPAY Annual fee payment

Payment date: 20160609

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

FPAY Annual fee payment

Payment date: 20170524

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

FPAY Annual fee payment

Payment date: 20180621

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20190610

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20230611

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20230611

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R11 Change to the name of applicant or owner or transfer of ownership requested

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R11-ASN-PN2301 (AS PROVIDED BY THE NATIONAL OFFICE)

R13 Change to the name of applicant or owner recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R13-ASN-PN2301 (AS PROVIDED BY THE NATIONAL OFFICE)