KR20100121086A - 음원인식을 이용한 촬영영상 추적 ｐｔｚ 카메라 운용시스템 및 그 방법 - Google Patents

음원인식을 이용한 촬영영상 추적 ｐｔｚ 카메라 운용시스템 및 그 방법 Download PDF

Info

Publication number
KR20100121086A
KR20100121086A KR1020090040061A KR20090040061A KR20100121086A KR 20100121086 A KR20100121086 A KR 20100121086A KR 1020090040061 A KR1020090040061 A KR 1020090040061A KR 20090040061 A KR20090040061 A KR 20090040061A KR 20100121086 A KR20100121086 A KR 20100121086A
Authority
KR
South Korea
Prior art keywords
sound source
information
video
sound
camera
Prior art date
Application number
KR1020090040061A
Other languages
English (en)
Inventor
주상규
Original Assignee
주식회사 싸이시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 싸이시스 filed Critical 주식회사 싸이시스
Priority to KR1020090040061A priority Critical patent/KR20100121086A/ko
Publication of KR20100121086A publication Critical patent/KR20100121086A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용시스템 및 그 방법에 관한 것으로서, 복수개의 음원검출수단을 통해 2차원 공간의 어느 한 지점에서 360ㅀ 전방위에 걸쳐 기 설정된 거리로부터 음원에 대한 각도와 음원발생 지점간의 거리를 측정하여 음원발생 위치정보를 생성하고, 회동제어수단을 통해 음원발생 위치정보와 부합하는 방향으로 광학렌즈를 회동시켜 광학렌즈에 의해 동영상정보 또는 확대 동영상정보를 촬영ㆍ생성하는 카메라, 및 정보통신망을 통해 전송받은 동영상정보 또는 확대 동영상정보를 디스플레이수단을 통해 출력하고, 동영상정보 또는 확대 동영상정보에 포함된 음성정보를 사운드출력수단을 통해 출력하는 원격지서버를 포함한다.
상기와 같은 본 발명에 따르면, 좌우/상하 회전 가능하고, 줌(ZOOM) 기능을 갖는 카메라가, 감지한 음원 발생 지점으로 방향을 전환함과 동시에 촬영한 동영상의 중심점을 기준으로 확대하여 디스플레이 함으로써, 지속적으로 화자들의 얼굴영상을 디스플레이하는 효과가 있다.
음원, 음파, 각도, 거리, 좌표, 검출, 음원발생위치, 카메라, 회동, 촬영, 줌, zoom, 확대, 동영상, 원격지

Description

음원인식을 이용한 촬영영상 추적 ＰＴＺ 카메라 운용시스템 및 그 방법{PTZ CAMERA APPLICATION SYSTEM FOR PHOTOGRAPHING CHASE USING SOUND SOURCE RECOGNITION AND METHOD THEREFOR}
본 발명은 음원인식을 이용한 촬영영상 추적 PTZ(Pan Tilt Zoom) 카메라 운용시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 좌우/상하 회전 가능하고, 줌(ZOOM) 기능을 갖는 카메라가, 감지한 음원 발생 지점으로 방향을 전환함과 동시에 촬영하고, 촬영된 영상을 확대하는 기술에 관한 것이다.
일반적으로, 비디오 장비를 통해 촬영된 영상을 원격지로 전송하는 시스템은 크게 화상회의 시스템과 무인감시 시스템으로 나뉠 수 있다.
먼저, 화상회의 시스템은 2개 이상의 지점간 연결 세션을 구성하고, 이 연결 세션 상에서 각 지점으로부터 화상(영상 및 음성)신호를 받아서 처리한 후 회의에 참가한 다른 지점에게 처리된 화상신호를 보내는 방식으로 전개된다. 이러한, 화상회의 시스템은. 회의상황을 촬영하는 오디오 및 비디오(카메라) 장비를 수반하게 되는데, 단일 카메라를 통해 회의상황 영상을 촬영하여 촬영한 화상신호를 원격지로 전송토록 구성되는게 일반적이다.
그러나, 방대한 인원의 회의구성원들 회의를 한다거나, 회의장소가 큰 경우, 회의상황을 단일 카메라로 촬영하기에는 무리가 있게 때문에, 복수개의 카메라를 구비하여 각각의 회의구성원들의 영상을 촬영한 화상신호를 원격지로 전송하도록 운영되고 있다.
하지만, 각각의 회의구성원들마다 카메라를 구비하여 촬영하기엔 인적ㆍ물적 자원의 소모가 막대하다. 또한, 모든 회의구성원들에 대한 촬영영상을 한곳에 출력시킬 수 없기 때문에 회의구성원들 중 각 상황마다 화자를 선별하여 출력해야만 하며, 이때 회의진행자 또는 보조자의 수작업이 뒤따르는 문제점을 초래한다.
한편, 무인감시 시스템은, 관찰 또는 감시하고자 하는 대상체를 향하도록 구비된 카메라에 의해 촬영된 영상을 원격지에 위치한 서버로 전송하여 서버측에서 촬영된 영상을 분석하여 차량의 과속 및 과적 단속, 건물 또는 귀중품의 방범ㆍ보안의 기능을 수행한다.
이러한, 무인감시 시스템은, 카메라가 고정된 대상체 방향에만 한정되어 촬영함에 따라 단속 또는 방범에 공백이 발생하기 마련이다. 따라서, 최근에 광각렌즈를 구비한 카메라를 구성하여 전방위 영상을 촬영하거나, 촬영영상 내의 이미지에 변화가 발생, 즉, 촬영 대상체 또는 촬영 대상체와 주변의 움직임을 감지한 카메라가 움직임을 따라 촬영하는 기술들에 대한 연구개발이 활발히 이루어지고 있다. 그러나, 이러한 영상인식 기반의 촬영기법은 야간에는 그 인식률이 현저히 저하됨에 따라 촬영 대상체 또는 대상체와 주변의 움직임을 감지해내기 어려울뿐더러, 촬영된 영상을 식별하기 위해 별도의 영상보정 작업이 수반되는 문제점이 있 다.
본 발명은 상기와 같은 문제점을 해소하고자 안출된 것으로서, 본 발명의 목적은, 좌우/상하 회전 가능하고, 줌(ZOOM) 기능을 갖는 카메라가, 감지한 음원 발생 지점으로 방향을 전환함과 동시에 촬영한 동영상의 중심점을 기준으로 확대하여 디스플레이 함으로써, 지속적으로 화자들의 얼굴영상을 디스플레이함에 그 목적이 있다.
또한, 본 발명의 또 다른 목적은, 감시구역 내에서 검출된 음원발생 지점의 동영상을 확대하여 디스플레이 함으로써, 야간에도 향상된 감시정보를 제공함에 그 목적이 있다.
이러한 기술적 과제를 달성하기 위한 본 발명의 제1 실시예에 따른 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용시스템은, 복수개의 음원검출수단을 통해 2차원 공간의 어느 한 지점에서 360ㅀ 전방위에 걸쳐 기 설정된 거리로부터 음원에 대한 각도와 음원발생 지점간의 거리를 측정하여 음원발생 위치정보를 생성하고, 회동제어수단을 통해 음원발생 위치정보와 부합하는 방향으로 광학렌즈를 회동시켜 광학렌즈에 의해 동영상정보 또는 확대 동영상정보를 촬영ㆍ생성하는 카메라, 및 정보통신망을 통해 전송받은 동영상정보 또는 확대 동영상정보를 디스플레이수단을 통해 출력하고, 동영상정보 또는 확대 동영상정보에 포함된 음성정보를 사운드출력수단을 통해 출력하는 원격지서버를 포함한다.
이하, 상술한 제1 실시예의 시스템을 기반으로 하는 본 발명의 제1 실시예에 따른 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용방법은, 카메라의 음원검출수단이 복수개로 구비되어 음원으로부터 발생된 음파들을 음원과 대향하는 방향에 따라 순차적으로 수신하여 산출한 각도 및 음원발생 지점간의 거리에 대한 데이터를 포함하는 음원발생 위치정보를 생성하는 (a) 단계와, 카메라의 회동제어수단이 좌우 모터 및 상하 모터를 통해 접속된 광학렌즈를 음원발생 위치정보와 부합하는 방향으로 회동시키는 (b) 단계와, 카메라의 광학렌즈가 회동제어수단에 의해 지향되는 방향에 위치한 동화상 및 음성정보를 포함하는 동영상을 실시간으로 촬영하여 동영상정보를 생성하는 (c) 단계, 및 원격지서버가 정보통신망을 통해 전송받은 동영상정보를 디스플레이함과 아울러 동영상정보에 포함된 음성정보를 출력하는 (d) 단계를 포함한다.
한편, 본 발명의 제2 실시예에 따른 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용시스템은, 복수개의 음원검출수단을 통해 2차원 공간의 어느 한 지점에서 360ㅀ 전방위에 걸쳐 기 설정된 거리로부터 음원에 대한 각도와 음원발생 지점간의 거리를 측정하여 음원발생 위치정보를 생성하고, 음원발생 위치정보들을 각각 3차원 좌표계에 부합하도록 음원에 대한 각도와 음원발생 지점간의 거리를 측정하여 3차원 음원발생 위치정보를 생성하며, 회동제어수단을 통해 3차원 음원발생 위치정보와 부합하는 방향으로 광학렌즈를 회동시켜 광학렌즈에 의해 동영상정보 또는 확대 동영상정보를 촬영ㆍ생성하는 카메라, 및 정보통신망을 통해 전송받은 동 영상정보 또는 확대 동영상정보를 디스플레이수단을 통해 출력하고, 동영상정보 또는 확대 동영상정보에 포함된 음성정보를 사운드출력수단을 통해 출력하는 원격지서버를 포함한다.
그리고, 상술한 제2 실시예의 시스템을 기반으로 하는 본 발명의 제2 실시예에 따른 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용방법은, 카메라의 음원검출수단이 복수개로 구비되어 음원으로부터 발생된 음파들을 음원과 대향하는 방향에 따라 순차적으로 수신하여 산출한 각도 및 음원발생 지점간의 거리에 대한 데이터를 포함하는 음원발생 위치정보를 생성하는 (a) 단계와, 카메라의 음원검출수단이 3차원 좌표계에 부합하도록 도출한 x-y 수평면, y-z 수평면, 및 z-x 수평면에 대한 각도와 각각 평면상의 거리에 따라 3차원 음원발생 위치정보를 생성하는 (b) 단계와, 카메라의 회동제어수단이 좌우 모터 및 상하 모터를 통해 접속된 광학렌즈를 3차원 음원발생 위치정보와 부합하는 방향으로 회동시키는 (c) 단계와, 카메라의 광학렌즈가 회동제어수단에 의해 지향되는 방향에 위치한 동화상 및 음성정보를 포함하는 동영상을 실시간으로 촬영하여 동영상정보를 생성하는 (d) 단계, 및 원격지서버가 정보통신망을 통해 전송받은 동영상정보를 디스플레이함과 아울러 동영상정보에 포함된 음성정보를 출력하는 (e) 단계를 포함한다.
상기와 같은 본 발명에 따르면, 좌우/상하 회전 가능하고, 줌(ZOOM) 기능을 갖는 카메라가, 감지한 음원 발생 지점으로 방향을 전환함과 동시에 촬영한 동영상의 중심점을 기준으로 확대하여 디스플레이 함으로써, 지속적으로 화자들의 얼굴영 상을 디스플레이하는 효과가 있다.
또한, 감시구역 내에서 검출된 음원발생 지점의 동영상을 확대하여 디스플레이 함으로써, 화상노이즈가 심한 야간에도 향상된 감시정보를 제공한다.
본 발명의 구체적인 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
도 1 은 본 발명의 제1 실시예에 따른 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용시스템(S)을 나타낸 구성도인바, 도시된 바와 같이 카메라(100), 및 원격지서버(200)를 포함하여 구성된다.
카메라(100)는, 음원검출수단(110)을 통해 2차원 공간의 어느 한 지점에서 360ㅀ 전방위에 걸쳐 기 설정된 거리(L)로부터 음원(sound source, 's')에 대한 각도(θ)와 음원발생 지점간의 거리(R)를 측정하여 음원발생 위치정보를 생성하고, 회동제어수단(120)이 음원발생 위치정보와 부합하는 방향으로 광학렌즈(130)를 회동시키며, 광학렌즈(130)에 의해 촬영ㆍ생성된 동영상정보 또는 확대 동영상정보를 저장수단(140)에 저장함과 아울러 전송수단(150)을 통해 원격지서버(200)로 전송한 다.
음원검출수단(110)은 정방형 또는 직방형으로 복수개로 구비되어 배치되며, 음원(s)으로부터 발생된 음파들을 음원(s)과 대향하는 방향에 따라 순차적으로 수신하여 산출한 각도(θ) 및 음원발생 지점간의 거리(R)에 대한 데이터를 포함하는 음원발생 위치정보를 생성한다.
도 2 를 참조하여 제1 실시예에 따른 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용시스템(S)의 음원검출수단(110)의 세부구성을 살피면 다음과 같다.
이하, 본 발명의 제1 실시예에 따른 카메라(100)의 음원검출수단(110)은 4개(M1 내지 M4)로 구성되는 것으로 상정하여 설명하겠으나, 본 발명이 이에 국한되는 것은 아니며, 다수개로 설정될 수 있다.
구체적으로, 음원(s)로부터 음원검출수단(110)간의 거리를 r0 내지 r3, 음파를 수신하는데 까지 걸리는 시간을 t0 내지 t3, 가장 먼저 음향을 수신한 음원검출수단(110)을 M2라고 가정하면, 음원검출수단(110)(M2)을 기준으로 좌우측에 배치된 음원검출수단(110)(M1, M3)을 이용하여, 음원검출수단(110)(M1), 음원검출수단(110)(M2), 음원검출수단(110)(M3), 및 음향검출센서(111)(M2)의 중간 지점인 P0와 P1에서 음원(s) 발생지점을 바라본 각도(θ0, θ1)는 아래의 [수학식 1] 내지 [수학식 8]과 같이 산출된다.
[수학식 1]
Figure 112009027632306-PAT00001
상기 [수학식 1]에서 음파의 진행속도를 c라고 하여 정리하면, [수학식 2]와 같이 도출되고, [수학식 2]와 동일한 방법으로 각도(θ1)를 산출하면, [수학식 3]과 같다.
[수학식 2]
Figure 112009027632306-PAT00002
[수학식 3]
Figure 112009027632306-PAT00003
또한, 상기와 같은 방법으로 4개의 음원검출수단(110)(M1 내지 M4)들의 중심점(P)에서 정면을 기준으로 음원(s)을 바라본 각도(θ)는 [수학식 4]와 같이 도출된다.
[수학식 4]
Figure 112009027632306-PAT00004
한편, 중심점(P)과 음원(s) 사이의 거리를 'R'이라고 하면, 사인법칙에 따라 [수학식 5]와 같이 나타낼 수 있으며, [수학식 5]를 거리(R)에 대하여 정리하면 [수학식 6]과 같이 도출된다.
[수학식 5]
Figure 112009027632306-PAT00005
[수학식 6]
Figure 112009027632306-PAT00006
따라서, 상기 [수학식 4]에서 음원검출수단(110)(M3, M1)까지 음파가 도달하는데 걸리는 시간차(t2-t0)를 구하면, [수학식 4]를 통해 도출한 각도(θ)를 [수학식 6]에 대입하여 거리(R)를 도출할 수 있다.
또한, 도 2 에 나타난 바와 같은 점(P0와 P1)에서 음원(s) 지점까지의 거리(R0, R1)는 각각 [수학식 7] 및 [수학식 8]을 통해 도출된다.
[수학식 7]
Figure 112009027632306-PAT00007
[수학식 8]
Figure 112009027632306-PAT00008
즉, 본 발명은 상기 [수학식 7] 및 [수학식 8]에서 θ0 또는 θ가 135ㅀ가 되어야 분모가 '0'이 되는 경우, 음원검출수단(110)(M1, M3, M4)의 구성을 이용하여 해당 거리를 도출할 수 있기 때문에 2차원 공간에서 360ㅀ 전체의 각도 및 거리계산이 가능하다.
한편, 카메라(100)의 회동제어수단(120)은 음원검출수단(110)으로부터 음원발생 위치정보를 인가받고, 좌우 모터(121) 및 상하 모터(122)를 통해 접속된 광학렌즈(130)를 음원발생 위치정보와 부합하는 방향으로 회동(回動)시킴과 아울러 광학렌즈(130)로 음원발생 위치정보를 인가한다.
또한, 카메라(100)의 광학렌즈(130)는 회동제어수단(120)에 의해 지향(志向)되는 방향에 위치한 동화상, 및 음성정보를 포함하는 동영상을 실시간으로 촬영하여 동영상정보를 생성하되, 광학렌즈 제어부(131)가 상기 동영상정보의 중심점을 기준으로 설정된 배수에 대응하도록 확대(zoom)하여 확대 동영상정보를 생성하고, 저장수단(140)은 동영상정보 및 확대 동영상정보를 저장한다.
이때, 확대 동영상정보 생성을 위한 배수는, 사용자에 의해 설정되는 것으로 생성된 동영상정보의 중심점을 기준으로 2배수 내지 10배수로 확대되나, 본 발명이 이에 국한되는 것은 아니며, 사용자에 의해 설정변경이 가능하다.
그리고, 카메라(100)의 전송수단(150)은 광학렌즈(130)에 의해 촬영된 확대 동영상정보를 정보통신망을 통해 원격지서버(200)로 전송한다.
원격지서버(200)는 카메라(100)의 전송수단(150)으로부터 촬영된 확대 동영상정보를 화상DB(210)에 저장하고, 디스플레이수단(220)을 통해 확대 동영상정보를 출력하며, 사운드출력수단(230)을 통해 확대 동영상정보에 포함된 음성정보를 출력한다.
여기서, 디스플레이수단(220)은 LCD(Liquid Crystal Display) 또는 CRT(Cathode Ray Tube) 모니터, 프로젝터, 아날로그 또는 디지털 TV, 및 휴대단말 기들을 포함하되, 본 발명이 이에 국한되는 것은 아니며 설정변경이 가능한 것으로 이해함이 바람직하다.
이하, 도 3 을 참조하여 본 발명의 제1 실시예에 따른 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용방법에 대해 살펴본다.
먼저, 카메라(100)의 음원검출수단(110)이 복수개로 구비되어 음원(s)으로부터 발생된 음파들을 음원(s)과 대향하는 방향에 따라 순차적으로 수신하여 산출한 각도(θ) 및 음원발생 지점간의 거리(R)에 대한 데이터를 포함하는 음원발생 위치정보를 생성한다(S10).
이어서, 카메라(100)의 회동제어수단(120)이 음원검출수단(110)으로부터 음원발생 위치정보를 인가받고, 좌우 모터(121) 및 상하 모터(122)를 통해 접속된 광학렌즈(130)를 음원발생 위치정보와 부합하는 방향으로 회동시키고(S20), 음원발생 위치정보를 광학렌즈(130)로 인가한다(S30).
뒤이어, 카메라(100)의 광학렌즈(130)가 회동제어수단(120)에 의해 지향(志向)되는 방향에 위치한 동화상, 및 음성정보를 포함하는 동영상을 실시간으로 촬영하여 동영상정보를 생성한다(S40).
이때, 광학렌즈(130)의 광학렌즈 제어부(131)가 동영상정보의 중심점을 기준으로 설정된 배수에 대응하도록 확대(zoom)하여 확대 동영상정보를 생성하고(S41), 저장수단(140)은 동영상정보 및 확대 동영상정보를 저장한다(S42).
뒤미처, 카메라(100)의 전송수단(150)이 광학렌즈(130)의 촬영을 통해 생성 된 동영상정보 또는 확대 동영상정보를 정보통신망을 통해 원격지서버(200)로 전송한다(S50).
이어서, 원격지서버(200)는 카메라(100)의 전송수단(150)으로부터 전송받은 동영상정보 또는 확대 동영상정보를 디스플레이수단(220)을 통해 출력하고(S60), 사운드출력수단(230)을 통해 동영상정보 또는 확대 동영상정보에 포함된 음성정보를 출력하며(S70), 상기 동영상정보 및 확대 동영상정보들은 화상DB(210)에 저장된다(S80).
한편, 본 발명의 제2 실시예에 따른 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용시스템(S)은, 상술한 제1 실시예를 기반으로 구성되나, 3차원 공간에서의 음원(s)을 측정하는 것에 특징이 있다.
도 4 는 본 발명의 제2 실시예에 따른 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용시스템(S)을 나타낸 구성도이고, 도 5a 는 본 발명의 제2 실시예에 따른 음원(s) 측정 원리를 설명하기 위한 도면이며, 도 5b는 본 발명의 제2 실시예에 따른 3차원 직교좌표상에 배치된 음원검출수단(110)을 나타낸 도면이고, 도 5c 는 직교좌표상에 배치된 음원검출수단(110) 각각이 음원(s)을 측정하는 범위를 형상으로 나타낸 도면인바, 도시된 바와 같이 카메라(100), 및 원격지서버(200)를 포함하여 구성된다.
카메라(100)는, 음원검출수단(110)을 통해 3차원 공간의 어느 한 지점에서 360ㅀ 전방위에 걸쳐 기 설정된 거리(L)로부터 음원(sound source, 's')에 대한 각 도(θ)와 음원발생 지점간의 거리(R)를 측정하여 음원발생 위치정보를 생성하고, 음원발생 위치정보들을 각각 3차원 좌표계에 부합하도록 상기 음원에 대한 각도(θ)와 음원발생 지점간의 거리(R)를 측정하여 3차원 음원발생 위치정보를 생성하며, 회동제어수단(120)이 3차원 음원발생 위치정보와 부합하는 방향으로 광학렌즈(130)를 회동시키며, 광학렌즈(130)에 의해 촬영ㆍ생성된 동영상정보 또는 확대 동영상정보를 저장수단(140)에 저장함과 아울러 전송수단(150)을 통해 원격지서버(200)로 전송한다.
음원검출수단(110)은 대칭형 사각뿔 형상으로 복수개가 구비되어 음원(s)로부터 발생된 음파들을 음원(s)과 대향하는 방향에 따라 순차적으로 수신하여 산출한 각도(θ) 및 음원발생 지점간의 거리(R)에 대한 데이터를 포함하는 음원발생 위치정보를 생성하고, 음원발생 위치정보를 3차원 좌표계에 부합하도록 도출한 x-y 수평면, y-z 수평면, 및 z-x 수평면에 대한 각도(θz)와 각각 수평면상의 거리(R)에 따라 3차원 음원발생 위치정보를 생성한다.
도 5a 내지 도 5c를 참조하여 음원검출수단(110)의 세부구성을 살피면 아래와 같다. 여기서, 본 발명의 제2 실시예에 따른 카메라(100)의 음원검출수단(110)은 6개(M1 내지 M6)로 구성되는 것으로 상정하여 설명하겠으나, 본 발명이 이에 국한되는 것은 아니며, 다수개로 설정될 수 있다.
구체적으로, 카메라(100)의 음원검출수단(110)들은, x-y 수평면으로 배치되는 음원검출수단(110)(M1 내지 M4)과, y-z 수평면으로 배치되는 음원검출수단(110)(M2, M4, M5, M6)과, z-x 수평면으로 배치되는 음원검출수단(110)(M1, M3, M5, M6)으로 구비된다.
따라서, 각 평면별로 상기 제1 실시예에서 기술한 방법과 동일하게 2차원 공간에서 음원(s)으로부터 발생된 음파들을 음원(s)과 대향하는 방향에 따라 순차적으로 수신하여 산출한 각도(θ) 및 음원발생 지점간의 거리(R)에 대한 데이터를 포함하는 음원발생 위치정보를 생성한 이후, 3차원 좌표계에서 음원발생 위치정보를 3차원 좌표계에서 x-y 수평면, y-z 수평면, 및 z-x 수평면에 대한 각도(θz)와 각각 수평면상의 거리(R)를 통해 3차원 음원발생 위치정보를 생성하여 3차원 음원발생 위치정보를 도출한다.
이때, x-y 수평면에 대한 각도(θz)는 상기 [수학식 4]와 동일하게 하기의 [수학식 9]와 같이 도출된다.
[수학식 9]
Figure 112009027632306-PAT00009
또한, 3차원 공간에서 실제거리(D)는 상기 [수학식 2] 내지 [수학식 8]을 응용하여 도출하거나, 상기 [수학식 6]에 의해 도출된 수평면상의 거리(R)를 이용하면, 하기의 [수학식 10]과 같이 도출된다.
[수학식 10]
Figure 112009027632306-PAT00010
즉, 상기한 바와 같은 [수학식]들에 기초하여 3차원 공간에서 음원(s)에 대한 각도(θ)와 거리 및 음원발생 지점간의 거리(R)에 대한 대이터를 포함하는 3차 원 음원발생 위치정보를 생성한다.
한편, 카메라(100)의 회동제어수단(120)은 음원검출수단(110)으로부터 3차원 음원발생 위치정보를 인가받고, 좌우 모터(121) 및 상하 모터(122)를 통해 접속된 광학렌즈(130)를 3차원 음원발생 위치정보와 부합하는 방향으로 회동(回動)시킴과 아울러 광학렌즈(130)로 3차원 음원발생 위치정보를 인가한다.
또한, 카메라(100)의 광학렌즈(130)는 회동제어수단(120)에 의해 지향(志向)되는 방향에 위치한 동화상, 및 음성정보를 포함하는 동영상을 실시간으로 촬영하여 동영상정보를 생성하되, 광학렌즈 제어부(131)가 상기 동영상정보의 중심점을 기준으로 설정된 배수에 대응하도록 확대(zoom)하여 확대 동영상정보를 생성하고, 저장수단(140)은 동영상정보 및 확대 동영상정보를 저장한다.
그리고, 카메라(100)의 전송수단(150)은 광학렌즈(130)에 의해 촬영된 확대 동영상정보를 정보통신망을 통해 원격지서버(200)로 전송한다.
원격지서버(200)는 카메라(100)의 전송수단(150)으로부터 촬영된 확대 동영상정보를 화상DB(210)에 저장하고, 디스플레이수단(220)을 통해 확대 동영상정보를 출력하며, 사운드출력수단(230)을 통해 확대 동영상정보에 포함된 음성정보를 출력한다.
이하, 도 6 을 참조하여 본 발명의 제2 실시예에 따른 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용방법에 대해 살펴본다.
먼저, 카메라(100)의 음원검출수단(110)이 복수개로 구비되어 음원(s)으로부 터 발생된 음파들을 음원(s)과 대향하는 방향에 따라 순차적으로 수신하여 산출한 각도(θ) 및 음원발생 지점간의 거리(R)에 대한 데이터를 포함하는 음원발생 위치정보를 생성한다(S10).
이어서, 카메라(100)의 음원검출수단(110)이 음원발생 위치정보를 3차원 좌표계에서 x-y 수평면, y-z 수평면, 및 z-x 수평면에 대한 각도(θz)와 각각 수평면상의 거리(R)를 통해 3차원 음원발생 위치정보를 생성하여 3차원 음원발생 위치정보를 생성한다(S20).
뒤이어, 카메라(100)의 회동제어수단(120)이 음원검출수단(110)으로부터 3차원 음원발생 위치정보를 인가받고, 좌우 모터(121) 및 상하 모터(122)를 통해 접속된 광학렌즈(130)를 음원발생 위치정보와 부합하는 방향으로 회동시키고(S30), 음원발생 위치정보를 광학렌즈(130)로 인가한다(S40).
이어서, 카메라(100)의 광학렌즈(130)가 회동제어수단(120)에 의해 지향(志向)되는 방향에 위치한 동화상, 및 음성정보를 포함하는 동영상을 실시간으로 촬영하여 동영상정보를 생성한다(S50).
이때, 광학렌즈(130)의 광학렌즈 제어부(131)가 동영상정보의 중심점을 기준으로 설정된 배수에 대응하도록 확대(zoom)하여 확대 동영상정보를 생성하고(S51), 저장수단(140)은 동영상정보 및 확대 동영상정보를 저장한다(S52).
뒤미처, 카메라(100)의 전송수단(150)이 광학렌즈(130)의 촬영을 통해 생성된 동영상정보 또는 확대 동영상정보를 정보통신망을 통해 원격지서버(200)로 전송한다(S60).
이어서, 원격지서버(200)는 카메라(100)의 전송수단(150)으로부터 전송받은 동영상정보 또는 확대 동영상정보를 디스플레이수단(220)을 통해 출력하고(S70), 사운드출력수단(230)을 통해 동영상정보 또는 확대 동영상정보에 포함된 음성정보를 출력하며(S80), 상기 동영상정보 및 확대 동영상정보들은 화상DB(210)에 저장된다(S90).
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
도 1 은 본 발명의 제1 실시예에 따른 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용시스템을 나타낸 구성도.
도 2 는 본 발명의 제1 실시예에 따른 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용시스템의 음원검출수단에 대한 세부구성을 나타낸 도면.
도 3 은 본 발명의 제1 실시예에 따른 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용방법을 나타낸 순서도.
도 4 는 본 발명의 제2 실시예에 따른 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용시스템을 나타낸 구성도.
도 5a 는 본 발명의 제2 실시예에 따른 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용시스템의 음원측정 원리를 설명하기 위한 도면.
도 5b 는 본 발명의 제2 실시예에 따른 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용시스템의 3차원 직교좌표상에 배치된 음원검출수단을 나타낸 도면.
도 5c 는 본 발명의 제2 실시예에 따른 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용시스템의 직교좌표상에 배치된 음원검출수단 각각이 음원을 측정하는 범위를 형상으로 나타낸 도면.
도 6 은 본 발명의 제2 실시예에 따른 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용방법을 나타낸 순서도.
** 도면의 주요 부분에 대한 부호의 설명 **
S: 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용시스템
100: 카메라 110: 음원검출수단
120: 회동제어수단 121: 좌우 모터
122: 상하 모터 130: 광학렌즈
131: 광학렌즈 제어부 140: 저장수단
150: 전송수단 200: 원격지서버
210: 화상DB 220: 디스플레이수단
230: 사운드출력수단

Claims (10)

  1. 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용시스템에 있어서,
    복수개의 음원검출수단을 통해 2차원 공간의 어느 한 지점에서 360ㅀ 전방위에 걸쳐 기 설정된 거리로부터 음원에 대한 각도와 음원발생 지점간의 거리를 측정하여 음원발생 위치정보를 생성하고, 회동제어수단을 통해 상기 음원발생 위치정보와 부합하는 방향으로 광학렌즈를 회동시켜 상기 광학렌즈에 의해 동영상정보 또는 확대 동영상정보를 촬영ㆍ생성하는 카메라; 및
    정보통신망을 통해 전송받은 상기 동영상정보 또는 확대 동영상정보를 디스플레이수단을 통해 출력하고, 상기 동영상정보 또는 확대 동영상정보에 포함된 음성정보를 사운드출력수단을 통해 출력하는 원격지서버; 를 포함하는 것을 특징으로 하는 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용시스템.
  2. 제 1 항에 있어서,
    상기 카메라는,
    정방형 또는 직방형으로 복수개로 구비되어 배치되며, 상기 음원으로부터 발생된 음파들을 상기 음원과 대향하는 방향에 따라 순차적으로 수신하여 산출한 각도 및 음원발생 지점간의 거리에 대한 데이터를 포함하는 음원발생 위치정보를 생성하는 음원검출수단;
    상기 음원검출수단으로부터 음원발생 위치정보를 인가받고, 좌우 모터 및 상 하 모터를 통해 접속된 상기 광학렌즈를 상기 음원발생 위치정보와 부합하는 방향으로 회동(回動)시키는 회동제어수단; 및
    상기 회동제어수단에 의해 지향(志向)되는 방향에 위치한 동화상, 및 음성정보를 포함하는 동영상을 실시간으로 촬영하여 상기 동영상정보를 생성하되, 광학렌즈 제어부가 상기 동영상정보의 중심점을 기준으로 설정된 배수에 대응하도록 확대(zoom)하여 상기 확대 동영상정보를 생성하는 광학렌즈; 를 포함하는 것을 특징으로 하는 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용시스템.
  3. 제 2 항에 있어서,
    상기 확대 동영상정보는,
    상기 동영상정보의 중심점을 기준으로 2배수 내지 10배수로 확대되는 것을 특징으로 하는 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용시스템.
  4. 제 1 항에 있어서,
    상기 디스플레이수단은,
    LCD(Liquid Crystal Display) 또는 CRT(Cathode Ray Tube) 모니터, 프로젝터, 아날로그 또는 디지털 TV, 및 휴대단말기들을 포함하는 것을 특징으로 하는 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용시스템.
  5. 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용방법에 있어서,
    (a) 카메라의 음원검출수단이 복수개로 구비되어 음원으로부터 발생된 음파들을 상기 음원과 대향하는 방향에 따라 순차적으로 수신하여 산출한 각도 및 음원발생 지점간의 거리에 대한 데이터를 포함하는 음원발생 위치정보를 생성하는 단계;
    (b) 상기 카메라의 회동제어수단이 좌우 모터 및 상하 모터를 통해 접속된 광학렌즈를 상기 음원발생 위치정보와 부합하는 방향으로 회동시키는 단계;
    (c) 상기 카메라의 광학렌즈가 상기 회동제어수단에 의해 지향되는 방향에 위치한 동화상 및 음성정보를 포함하는 동영상을 실시간으로 촬영하여 동영상정보를 생성하는 단계; 및
    (d) 원격지서버가 정보통신망을 통해 전송받은 상기 동영상정보를 디스플레이함과 아울러 상기 동영상정보에 포함된 음성정보를 출력하는 단계; 를 포함하는 것을 특징으로 하는 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용방법.
  6. 제 5 항에 있어서,
    상기 (c) 단계 이후,
    (e) 상기 광학렌즈의 광학렌즈 제어부가 상기 동영상정보의 중심점을 기준으로 기 설정된 배수에 대응하도록 확대(zoom)하여 확대 동영상정보를 생성하는 단계; 및
    (f) 상기 원격지서버가 정보통신망을 통해 전송받은 상기 확대 동영상정보를 디스플레이함과 아울러 상기 확대 동영상정보에 포함된 음성정보를 출력하는 단계; 를 포함하는 것을 특징으로 하는 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용방법.
  7. 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용시스템에 있어서,
    복수개의 음원검출수단을 통해 2차원 공간의 어느 한 지점에서 360ㅀ 전방위에 걸쳐 기 설정된 거리로부터 음원에 대한 각도와 음원발생 지점간의 거리를 측정하여 음원발생 위치정보를 생성하고, 상기 음원발생 위치정보들을 각각 3차원 좌표계에 부합하도록 상기 음원에 대한 각도와 음원발생 지점간의 거리를 측정하여 3차원 음원발생 위치정보를 생성하며, 회동제어수단을 통해 상기 3차원 음원발생 위치정보와 부합하는 방향으로 광학렌즈를 회동시켜 상기 광학렌즈에 의해 동영상정보 또는 확대 동영상정보를 촬영ㆍ생성하는 카메라; 및
    정보통신망을 통해 전송받은 상기 동영상정보 또는 확대 동영상정보를 디스플레이수단을 통해 출력하고, 상기 동영상정보 또는 확대 동영상정보에 포함된 음성정보를 사운드출력수단을 통해 출력하는 원격지서버; 를 포함하는 것을 특징으로 하는 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용시스템.
  8. 제 7 항에 있어서,
    상기 카메라는,
    정방형 또는 직방형으로 복수개로 구비되어 배치되며, 상기 음원으로부터 발생된 음파들을 상기 음원과 대향하는 방향에 따라 순차적으로 수신하여 산출한 각 도 및 음원발생 지점간의 거리에 대한 데이터를 포함하는 음원발생 위치정보를 생성하고, 상기 음원발생 위치정보를 3차원 좌표계에 부합하도록 도출한 x-y 수평면, y-z 수평면, 및 z-x 수평면에 대한 각도와 각각 평면상의 거리에 따라 3차원 음원발생 위치정보를 생성하는 음원검출수단;
    상기 3차원 음원발생 위치정보를 인가받고, 좌우 모터 및 상하 모터를 통해 접속된 상기 광학렌즈를 상기 3차원 음원발생 위치정보와 부합하는 방향으로 회동(回動)시키는 회동제어수단; 및
    상기 회동제어수단에 의해 지향(志向)되는 방향에 위치한 동화상, 및 음성정보를 포함하는 동영상을 실시간으로 촬영하여 상기 동영상정보를 생성하되, 광학렌즈 제어부가 상기 동영상정보의 중심점을 기준으로 설정된 배수에 대응하도록 확대(zoom)하여 상기 확대 동영상정보를 생성하는 광학렌즈; 를 포함하는 것을 특징으로 하는 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용시스템.
  9. 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용방법에 있어서,
    (a) 카메라의 음원검출수단이 복수개로 구비되어 음원으로부터 발생된 음파들을 상기 음원과 대향하는 방향에 따라 순차적으로 수신하여 산출한 각도 및 음원발생 지점간의 거리에 대한 데이터를 포함하는 음원발생 위치정보를 생성하는 단계;
    (b) 상기 카메라의 음원검출수단이 3차원 좌표계에 부합하도록 도출한 x-y 수평면, y-z 수평면, 및 z-x 수평면에 대한 각도와 각각 평면상의 거리에 따라 3차 원 음원발생 위치정보를 생성하는 단계;
    (c) 상기 카메라의 회동제어수단이 좌우 모터 및 상하 모터를 통해 접속된 광학렌즈를 상기 3차원 음원발생 위치정보와 부합하는 방향으로 회동시키는 단계;
    (d) 상기 카메라의 광학렌즈가 상기 회동제어수단에 의해 지향되는 방향에 위치한 동화상 및 음성정보를 포함하는 동영상을 실시간으로 촬영하여 동영상정보를 생성하는 단계; 및
    (e) 원격지서버가 정보통신망을 통해 전송받은 상기 동영상정보를 디스플레이함과 아울러 상기 동영상정보에 포함된 음성정보를 출력하는 단계; 를 포함하는 것을 특징으로 하는 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용방법.
  10. 제 9 항에 있어서,
    상기 (d) 단계 이후,
    (f) 상기 광학렌즈의 광학렌즈 제어부가 상기 동영상정보의 중심점을 기준으로 기 설정된 배수에 대응하도록 확대(zoom)하여 확대 동영상정보를 생성하는 단계; 및
    (g) 상기 원격지서버가 정보통신망을 통해 전송받은 상기 확대 동영상정보를 디스플레이함과 아울러 상기 확대 동영상정보에 포함된 음성정보를 출력하는 단계; 를 포함하는 것을 특징으로 하는 음원인식을 이용한 촬영영상 추적 PTZ 카메라 운용방법.
KR1020090040061A 2009-05-08 2009-05-08 음원인식을 이용한 촬영영상 추적 ｐｔｚ 카메라 운용시스템 및 그 방법 KR20100121086A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090040061A KR20100121086A (ko) 2009-05-08 2009-05-08 음원인식을 이용한 촬영영상 추적 ｐｔｚ 카메라 운용시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090040061A KR20100121086A (ko) 2009-05-08 2009-05-08 음원인식을 이용한 촬영영상 추적 ｐｔｚ 카메라 운용시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20100121086A true KR20100121086A (ko) 2010-11-17

Family

ID=43406488

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090040061A KR20100121086A (ko) 2009-05-08 2009-05-08 음원인식을 이용한 촬영영상 추적 ｐｔｚ 카메라 운용시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20100121086A (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101447137B1 (ko) * 2014-04-28 2014-10-07 주식회사 시스피아 음향센서를 이용한 ｃｃｔｖ용 음원추적장치
KR101526858B1 (ko) * 2014-11-12 2015-06-17 주식회사 엘리소프트 감시 대상을 음원 인식방법으로 추적할 수 있는 방범용 ｃｃｔｖ 시스템 및 그 방법
KR20150097085A (ko) * 2014-02-18 2015-08-26 주식회사 일리시스 보안데이터 수집장치 및 그 수집방법
KR20170000143U (ko) * 2015-07-02 2017-01-11 주식회사 엘지유플러스 영상장치
WO2017023151A1 (ko) * 2015-08-06 2017-02-09 엘지이노텍 주식회사 이미지 처리 장치
KR20180073168A (ko) * 2016-12-22 2018-07-02 상명대학교산학협력단 다자간 회의에서의 화자 인식 및 화자 추적 방법
KR20220029034A (ko) 2020-09-01 2022-03-08 주식회사 한길커뮤니티 감시 대상을 음원 인식방법으로 추적할 수 있는 방범용 ｃｃｔｖ 시스템 및 그 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150097085A (ko) * 2014-02-18 2015-08-26 주식회사 일리시스 보안데이터 수집장치 및 그 수집방법
KR101447137B1 (ko) * 2014-04-28 2014-10-07 주식회사 시스피아 음향센서를 이용한 ｃｃｔｖ용 음원추적장치
KR101526858B1 (ko) * 2014-11-12 2015-06-17 주식회사 엘리소프트 감시 대상을 음원 인식방법으로 추적할 수 있는 방범용 ｃｃｔｖ 시스템 및 그 방법
KR20170000143U (ko) * 2015-07-02 2017-01-11 주식회사 엘지유플러스 영상장치
WO2017023151A1 (ko) * 2015-08-06 2017-02-09 엘지이노텍 주식회사 이미지 처리 장치
KR20180073168A (ko) * 2016-12-22 2018-07-02 상명대학교산학협력단 다자간 회의에서의 화자 인식 및 화자 추적 방법
KR20220029034A (ko) 2020-09-01 2022-03-08 주식회사 한길커뮤니티 감시 대상을 음원 인식방법으로 추적할 수 있는 방범용 ｃｃｔｖ 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
KR20100121086A (ko) 음원인식을 이용한 촬영영상 추적 ｐｔｚ 카메라 운용시스템 및 그 방법
KR101695249B1 (ko) 감시 영상 표시 방법 및 시스템
KR101776702B1 (ko) 3차원 영상을 생성하는 감시 카메라 및 그 방법
WO2010008518A1 (en) Image capture and display configuration
KR101096157B1 (ko) 듀얼 카메라를 이용한 실시간 감시장치
JP5477777B2 (ja) 画像取得装置
JP2006352851A (ja) 複合カメラによりシーンの画像を取得する方法及び装置
JP2010232888A (ja) 監視装置
US9197870B1 (en) Automatic projection focusing
CN112839165B (zh) 人脸跟踪摄像的实现方法、装置、计算机设备和存储介质
US10397474B2 (en) System and method for remote monitoring at least one observation area
WO2009066988A2 (en) Device and method for a surveillance system
KR101297294B1 (ko) 카메라 제어용 맵 인터페이스 시스템
JP2006245648A (ja) 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体
TW201734948A (zh) 用於在廣角圖像系統中生成相關的音頻和視覺信號的方法、系統及設備
KR20170044451A (ko) 헤드 마운트 디스플레이를 이용한 원격지 카메라 제어 시스템 및 방법
JP2007158680A (ja) 追尾撮像装置およびこれを利用した追尾撮像システム
JP2019211337A (ja) 情報処理装置、システム、情報処理方法及びプログラム
KR101452342B1 (ko) 감시카메라 유닛 및 그 구동방법
JP2022105568A (ja) ３ｄツアーの比較表示システム及び方法
JP2010213249A (ja) ビデオカメラ撮像装置
KR101664733B1 (ko) 전 방향 고해상도 추적 녹화 장치 및 방법
KR101410985B1 (ko) 감시카메라를 이용한 감시시스템 및 감시장치와 그 감시방법
KR101503347B1 (ko) 음원 검지를 통한 방범용 ｃｃｔｖ 시스템 및 그 감시방법
CN113676622A (zh) 视频处理方法、摄像装置、视频会议系统及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application