KR20110119057A - 사용자 단말에 의해 제어 가능한 제어 유닛을 구비한 이동로봇 및 이를 활용한 홈 케어링 시스템 - Google Patents

사용자 단말에 의해 제어 가능한 제어 유닛을 구비한 이동로봇 및 이를 활용한 홈 케어링 시스템 Download PDF

Info

Publication number
KR20110119057A
KR20110119057A KR1020100038534A KR20100038534A KR20110119057A KR 20110119057 A KR20110119057 A KR 20110119057A KR 1020100038534 A KR1020100038534 A KR 1020100038534A KR 20100038534 A KR20100038534 A KR 20100038534A KR 20110119057 A KR20110119057 A KR 20110119057A
Authority
KR
South Korea
Prior art keywords
signal
mobile robot
user terminal
communication
control unit
Prior art date
Application number
KR1020100038534A
Other languages
English (en)
Other versions
KR101191978B1 (ko
Inventor
박상규
Original Assignee
주식회사 퓨처인터넷기술
박상규
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 퓨처인터넷기술, 박상규 filed Critical 주식회사 퓨처인터넷기술
Priority to KR1020100038534A priority Critical patent/KR101191978B1/ko
Publication of KR20110119057A publication Critical patent/KR20110119057A/ko
Application granted granted Critical
Publication of KR101191978B1 publication Critical patent/KR101191978B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • B25J11/0085Cleaning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/006Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/01Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Telephonic Communication Services (AREA)
  • Manipulator (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)

Abstract

사용자 단말에 의해 제어 가능한 이동로봇이 제공된다. 이 이동로봇은, 구동 제어 신호에 따라 상기 이동로봇을 이동시키는 이동로봇 구동부; 및 사용자 단말에 인코딩된 비디오 신호를 포함하는 전화 통신 신호를 전송하며, 사용자 단말로부터의 전화 통신 신호에 포함된 제어 신호에 따라 상기 구동 제어 신호를 생성하는 제어 유닛을 구비한다. 또한, 적어도 하나의 PIR 센서 유닛과 이 유닛과 통신가능한 이동로봇을 포함하는 홈 케어링 시스템이 제공된다. 홈 케어링 시스템에서, 이동로봇의 화상전송 및 제어기는 적어도 하나의 PIR 센서 유닛에 의해 움직임 감지 신호가 생성되면, 촬영기에 의해 촬영되며 비디오 인코더 의해 인코딩된 비디오 신호를 포함하는 전화 통신 신호가 사용자 단말로 전송되도록 촬영기, 비디오 인코더, 제1 통신신호 처리기, 및 통신 연결기를 제어한다. 따라서, 사용자 단말의 사용자는, 이동로봇이 위치한 장소에 관한 공간정보를 별도의 데이터베이스로 구축할 필요 없이, 이동로봇이 제공한 화상 정보에 기초하여 이동로봇을 제어할 수 있다. 이동로봇을 정확히 제어할 수 있다. 이동로봇 외부의 PIR 센서 유닛과 이동로봇이 통신하기 때문에, 이동로봇이 위치한 장소에 의한 제약 없이, 이동로봇을 홈 케어링에 사용할 수 있다.

Description

사용자 단말에 의해 제어 가능한 제어 유닛을 구비한 이동로봇 및 이를 활용한 홈 케어링 시스템{Mobile robot including a control unit controllable by a user terminal and home caring system using the mobile robot}
본 발명은 이동 로봇에 관한 것으로, 특히 사용자 단말에 의해 제어 가능한 제어 유닛을 구비한 이동로봇 및 이를 활용한 홈 케어링 시스템에 관한 것이다.
이동로봇은 스스로 주행을 하면서 특정 작업을 수행할 수 있는 로봇으로서, 청소로봇, 감시로봇 등을 말한다. 이러한 이동로봇 중에서 최근에는 청소로봇이 새로운 시장을 형성하고, 그 규모가 커져 가고 있다.
사용자가 외출 중인 경우에도 집에 있는 이동로봇을 제어하여 청소 등의 작업을 할 수 있는 원격제어가 가능한 이동로봇 시스템에 대한 필요성이 제기되어 왔다. 특히, 현재 청소로봇과 같이 가정용으로 사용되는 이동로봇이 경쟁적으로 출시됨에 따라, 원격제어가 가능한 이동로봇 시스템의 제조비용을 낮출 수 있는 기술에 대한 필요성이 더욱 커지고 있다.
한국 등록실용신안공보 제 20-0414637호[R1]는 청소로봇을 집밖에서 원격 제어할 수 있게 하는 "청소로봇의 원격제어장치"를 개시한다. 이 청소로봇의 원격제어장치[R1]는 사용자 단말기의 버튼 조작에 의해 발생되는 DTMF 신호를 수신하고 그 수신된 DTMF 신호에 따라 청소로봇을 제어한다.
한국 등록특허공보 제10-0645848호(등록일 2006년11월07일)[R2] 역시 전화선의 DTMF신호를 이용하여 이동로봇을 제어하는 "이동로봇 시스템 및 이동로봇 원격제어방법"을 개시한다. 이 공보[R2]에 의하면, 이동로봇이 수행할 작업, 예컨대 집 전체 청소, 지정된 특정 방만의 청소가 DTMF신호를 통하여 이동로봇에 지정되고, 이동로봇은 지정된 작업을 수행한다.
그러나, 전술한 선행기술 R1의 청소로봇은 화상 정보를 사용자 단말기로 제공하지 않기 때문에, 사용자가 청소로봇을 가시범위 내에 두고 있지 않은 경우 청소로봇의 제어가 곤란하다는 문제가 있다. 선행기술 R2의 이동로봇은, 등록된 작업들 중에서 선택된 작업만을 수행할 수 있기 때문에, 이동로봇의 사용에 제약이 따른다는 문제가 있다.
그러므로, 전술한 선행기술들의 로봇들은 로봇에 놓여있는 실(real) 공간에 대한 정보 없이 제어가 행해질 수 밖에 없다. 결과적으로, 선행기술들에 개시된 로봇 기술들은 홈케어링과 같이 실 공간의 정보가 필요한 환경에 적용하기에는 적합하지 않다는 문제가 있다. 여기서 홈케어링(Home Caring)이란 다양한 모니터링 기능이 내장된 제어유닛이 내장된 이동로봇을 보호 대상이 거주하고 있는 장소에 설치하고, 유·무선인터넷전화망을 기반으로 보호대상의 상태를 언제·어디서나 휴대폰/WIFI폰/VoIP폰/PC를 통해 보호대상의 상태를 확인하고 통화하는 FMC (유무선결합; fixed mobile convergence) 서비스를 의미한다.
R1: 한국 등록실용신안공보 제 20-0414637호(등록일 2006년04월17일) R2: 한국 등록특허공보 제10-0645848호(등록일 2006년11월07일)
본 발명은 전술한 문제들을 해결하기 위한 것으로, 사용자 단말에 의해 제어가 가능한 이동로봇을 제공하고자 한다.
본 발명은 또한 사용자 단말에 의해 제어가 가능한 제어유닛을 이동로봇을 활용한 홈 케어링 시스템을 제공하고자 한다.
본 발명의 실시예에 따르면, 사용자 단말에 의해 제어가 가능한 이동로봇이 제공되며, 이 이동로봇은, 구동 제어 신호에 따라 상기 이동로봇을 이동시키는 이동로봇 구동부; 및 사용자 단말에 촬영되고 인코딩된 비디오 신호를 포함하는 전화 통신 신호를 전송하며, 사용자 단말로부터의 전화 통신 신호에 포함된 제어 신호에 따라 상기 구동 제어 신호를 생성하는 제어 유닛을 포함한다.
다른 실시예에 따르면, 상기 제어 유닛은, PIR 센서; 촬영기; 상기 촬영기에 의해 생성된 비디오 신호를 인코딩하여 인코딩된 비디오 신호를 생성하는 비디오 인코더; 상기 사용자 단말로부터 제어신호를 포함하는 전화 통신 신호를 수신하고, 인코딩된 비디오 신호를 포함하는 전화 통신 신호를 상기 사용자 단말로 전송하는 통신 연결기; 구동 제어 신호를 상기 이동로봇 구동부로 전송하며, 상기 사용자 단말로부터 상기 통신 연결기를 통해 수신된 전화 통신 신호로부터 제어 신호를 분리하고, 인코딩된 비디오 신호를 포함하는 전화 통신 신호를 생성하는 제1 통신신호 처리기; 및 상기 PIR 센서에 의해 움직임 감지 신호가 생성되면, 상기 촬영기에 의해 촬영되며 상기 비디오 인코더에 의해 인코딩된 비디오 신호를 포함하는 전화 통신 신호가 상기 사용자 단말로 전송되도록 상기 촬영기, 상기 비디오 인코더, 상기 제1 통신신호 처리기, 및 상기 통신 연결기를 제어하며, 상기 통신 신호 처리기로부터 제어 신호가 수신되면, 수신된 제어 신호에 따라 상기 이동로봇을 이동시키기 위해 이동로봇 구동부를 제어하기 위한 구동 제어 신호를 생성하는 제어기를 구비한다.
또 다른 실시예에 따르면, 상기 제어 유닛은, 마이크로폰; 및 상기 마이크로폰에 의해 생성된 오디오 신호를 인코딩하여 인코딩된 오디오 신호를 생성하는 오디오 처리부를 더 포함하며, 제1 통신신호 처리기는 인코딩된 오디오 신호를 포함하는 전화 통신 신호를 생성하며, 상기 통신 연결기는 인코딩된 오디오 신호를 포함하는 전화 통신 신호를 상기 사용자 단말로 송신한다.
또 다른 실시예에 따르면, 상기 제어 유닛은, 스피커를 더 포함하며, 상기 오디오 처리부는, 제1 통신신호 처리기에 의해 전화 통신 신호로부터 분리된 오디오 신호를 수신하며, 수신된 오디오 신호를 처리하여 소리 신호를 생성하며, 상기 스피커는 상기 오디오 처리부에 의해 생성된 소리 신호를 소리로 변환시킨다.
또 다른 실시예에 따르면, 상기 제어 유닛은, 가동모듈; 및 상기 가동 모듈을 좌우이동 및 상하이동시키기 위한 팬/틸트 제어기를 더 포함하며, 상기 가동모듈은, 상기 촬영기, 조명기, 마이크로폰을 포함하며, 상기 제어기는 제1 통신신호 처리기로부터의 제어 신호에 따라 상기 가동 모듈을 좌우이동 및 상하이동시키기 위해 상기 팬/틸트 제어기를 제어한다.
또 다른 실시예에 따르면, 상기 제1 통신신호 처리기는 구동 제어 신호를 포함하는 통신 신호로 생성하며, 상기 이동로봇 구동부는, 상기 제1 통신신호 처리기로부터 통신 신호를 수신하며, 수신된 통신 신호로부터 구동 제어 신호를 분리하는 제2 통신신호 처리기; 상기 구동 제어 신호에 따라 이동로봇을 이동시키는 구동기를 구비한다.
또 다른 실시예에 따르면, 홈 케어링 시스템이 제공되는데, 홈 케어링 시스템은 적어도 하나의 PIR 센서 유닛; 및 사용자 단말에 의해 제어가 가능한 제1항 내지 제6항 중 어느 한 항의 이동로봇으로서 상기 적어도 하나의 PIR 센서 유닛과 통신하는 이동로봇을 포함하며, 상기 이동로봇의 화상전송 및 제어기는 상기 적어도 하나의 PIR 센서 유닛에 의해 움직임 감지 신호가 생성되면, 상기 촬영기에 의해 촬영되며 상기 비디오 인코더 의해 인코딩된 비디오 신호를 포함하는 전화 통신 신호가 상기 사용자 단말로 전송되도록 상기 촬영기, 상기 비디오 인코더, 상기 제1 통신신호 처리기, 및 상기 통신 연결기를 제어한다.
본 발명에 의하면, 이동로봇이 촬영된 화상 정보를 사용자 단말에 제공하기 때문에 그 사용자 단말의 사용자는 이동로봇이 제공한 화상 정보에 기초하여 이동로봇을 제어할 수 있다. 따라서, 이동로봇이 위치한 장소에 관한 공간정보를 별도의 데이터베이스로 구축할 필요 없이 이동로봇을 정확히 제어할 수 있다.
또한, 본 발명의 이동로봇을 활용한 홈 케어링 시스템은, 이동로봇에 장착된 PIR센서에 의한 감지가능 영역을 벗어나는 위치들에서 사람 등의 움직임이 감지될 때, 이동로봇에 움직임 감지 신호를 전송하는 PIR 센서 유닛을 구비하기 때문에, 이동로봇이 위치한 장소에 의한 제약 없이, 이동로봇을 홈 케어링에 사용할 수 있다는 이점이 있다.
도 1은 사용자 단말에 의해 제어가 가능한 이동로봇을 활용하는 홈 케어링 시스템을 설명하기 위한 개념도이다.
도 2는 본 발명의 바람직한 실시예에 따른 이동로봇의 개념적 구성을 보이는 블록도이다.
도 3은 도 2의 이동로봇을 3G폰, 스마트폰, WIFI폰, 또는 SoIP폰을 이용하여 제어하는 경우를 설명하기 위한 도면이다.
도 4는 도 2의 이동로봇을 PC의 웹브라우저를 이용하여 제어하는 경우를 설명하기 위한 도면이다.
이하 첨부된 도면들을 참조하여 본 발명을 구현한 바람직한 실시예들을 상세히 설명한다.
도 1은 사용자 단말에 의해 제어가 가능한 이동로봇이 이용될 수 있는 홈 케어링 시스템의 개념도이다. 도 1에 보인 홈 케어링 시스템은 댁(1) 내에 위치된 이동로봇(2), 댁내 인터넷 연결 장치(5), 네트워크(6), 사용자 단말(7), 및 적어도 하나의 PIR 센서 유닛(8)을 포함한다. 댁내 인터넷 연결 장치(5)는 유선 또는 무선의 댁내 인터넷 연결 장치, 이를테면 전화모뎀이다. 네트워크(6)는 화상통신을 지원하는 유,무선 전화망 또는 인터넷일 수 있다. 바람직하게는, 네트워크(6)는 VoIP(voice over Internet Protocol) 기술을 이용하는 인터넷일 수 있다.
VoIP(voice over Internet Protocol)는 기존부터 사용되고 있는 데이터통신용 패킷망을 인터넷폰에 이용하는 것이다. 음성 데이터를 인터넷 프로토콜 데이터 패킷으로 변화하여 일반 전화망에서의 통화를 가능하게 해주는 통신서비스 기술이다. 이러한 VoIP는 인터넷이나 다른 패킷 교환식(packet switched) 네트워크들과 같은 IP 네트워크들 상에서 음성(voice) 통신의 전달을 위한 전송 기술이다. VoIP의 동의어로서 자주 접하는 용어들로는 IP 전화통신(telephony), 인터넷 전화통신, VoBB(voice over broadband), 광대역 전화통신, 및 광대역 전화(broadband phone)가 있다. 인터넷 전화통신은, PSTN(public switched telephone network)이 아니라, 인터넷을 경유하는 통신 서비스들, 이를테면 음성, 팩시밀리, 및/또는 음성-메시징 애플리케이션들을 말한다.
사용자 단말들(7)은 3G폰, 4G폰, 스마트폰, WIFI폰, 또는 SoIP폰과 같은 화상전화기 또는 화상통화가 가능한 데스크탑, 랩탑과 같은 컴퓨터 일 수 있다. 화상전화기(videophone)는 비디오 스크린을 가지는 전화기이고, 사람들 간에 실시간의 통신을 위해 풀 듀플렉스(full duplex)(양방향) 비디오 및 오디오 전송을 할 수 있는 기기를 의미한다. 적어도 하나의 PIR 센서 유닛(8)은 PIR(Passive InfraRed) 센서와 이동로봇(2)과 통신하기 위한 통신기기(미도시)를 구비한다.
도 2는 본 발명의 바람직한 실시예에 따른 이동로봇의 개념적 구성을 보이는 블록도이다. 도 2를 참조하면, 이동로봇(2)은 제어 유닛(3)과 이동로봇 구동부(4)를 구비한다. 제어 유닛(3)은 사용자 단말(7)에 비디오 신호를 포함하는 전화 통신 신호를 전송하며, 사용자 단말(7)으로부터의 제어 신호에 따라 상기 구동 제어 신호를 생성한다. 이동로봇 구동부(4)는 제어 유닛(3)의 구동 제어 신호에 따라 이동로봇(2)을 이동시킨다. 이동로봇(2)은 이동로봇에 동력을 얻기 위해, 예컨대, 충전식 배터리(미도시)를 구비할 수도 있다.
도 2는 본 발명의 바람직한 실시예를 보인다. 제어 유닛(3)은 가동모듈(10)과 비가동모듈(30)을 구비한다. 가동모듈(10)은 헤더라이트와 같은 조명기(12), 촬영기(14), 및 마이크로폰(16)을 구비한다. 비가동 모듈(20)은 스피커(22), PIR 센서(24), 팬(pan)/틸트(tilt)제어기(26), 비디오 인코더(28), 오디오 처리부(30), 제어기(32), 메모리(34), 통신신호 처리기(36), 및 전화통신기(38)를 구비한다. 가동모듈(10)은 비가동 모듈(20)의 팬/틸트 제어기(26)에 의해 좌우방향 및 상하방향으로 움직여질 수 있다. 도 2의 제어 유닛(3)은, 촬영기(14)가 촬영하고 비디오 인코더(28)가 인코딩한 비디오 신호를 이용하여 제어기(32)가 움직임을 검출하도록 구성될 수 있다. 인코딩된 비디오 신호 대신에 촬영기(14)에 의해 획득된 비디오 신호가 제어기(32)에 직접 전송되고, 제어기(32)가 메모리에(34)에 미리 저장된 애플리케이션을 이용하여 촬영기(14)에 의해 획득된 비디오 신호에 대한 움직임 검출 동작을 수행할 수도 있다. 비디오 신호 또는 인코딩된 비디오 신호에 대한 움직임 검출 동작은, 화상 프레임들(또는 필드들) 간의 비교에 기초하여 행하여질 수 있다. 이러한 방식의 움직임 검출은 이 기술분야의 당업자에게는 잘 알려진 것이므로 구체적인 설명은 생략된다.
비가동 모듈(20)에서, 팬/틸트 제어기(26)는 제어기(32)의 구동 제어 신호에 따라 가동모듈(10)을 좌우방향 및 상하방향으로 움직일 수 있다. 비디오 인코더(28)는 촬영기(14)에 의해 생성된 비디오 신호를 인코딩하여 인코딩된 비디오 신호를 생성하고, 인코딩된 비디오 신호를 통신신호 처리기(36)로 전송한다. 이러한 비디오 인코더(28)는 MPEG, H.263, 또는 H.264를 이용하여 비디오 신호를 인코딩할 수 있다. 오디오 처리부(30)는 가동모듈(10)의 마이크로폰(16)로부터의 소리 신호를 처리하여 인코딩된 오디오 신호를 생성한다. 오디오 처리부(30)는 인코딩된 오디오 신호를 통신신호 처리기(36)로 전송한다. 오디오 처리부(30)는 또한 통신신호 처리기(36)로부터 인코딩된 오디오 신호를 수신하며, 인코딩된 오디오 신호를 디코딩하여 소리 신호를 생성한다. 소리 신호는 스피커(22)를 통해 소리로 변환될 수 있다. 이러한 오디오 처리부(30)는 ITU-T의 G711, G723, G729를 이용하여 오디오 신호를 인코딩 및 디코딩할 수 있다.
제1 통신신호 처리기(36)는 통신 연결기(38)로부터 전화 통신 신호를 수신하며, 수신된 전화 통신 신호로부터 제어 신호 및 인코딩된 오디오 신호를 분리한다. 제어 신호는 제어기(32)로 전송되고, 인코딩된 오디오 신호는 오디오 처리부(30)에 전송된다. 제1 통신신호 처리기(36)는 또한 비디오 인코더(28)로부터 인코딩된 비디오 신호를 수신하며, 오디오 처리기(30)로부터 인코딩된 오디오 신호를 수신한다. 제1 통신신호 처리기(36)는 인코딩된 비디오 신호 및/또는 인코딩된 오디오 신호를 포함하는 전화 통신 신호를 생성하며, 그 전화 통화 신호를 통신 연결기(38)에 전송한다. 또한, 제1 통신신호 처리기(36)는 제어기(32)로부터 구동 제어 신호를 수신하여 이동로봇 구동부(4)로 전송한다.
통신 연결기(38)는 사용자 단말(7)으로부터 제어신호 및/또는 인코딩된 오디오 신호를 포함하는 전화 통신 신호를 수신하고, 수신된 전화 통신 신호를 통신신호 처리기(36)가 처리할 수 있는 전화 통신 신호로 변환한다. 또한 통신 연결기(38)는 인코딩된 비디오 신호 및/또는 인코딩된 오디오 신호를 포함하는 전화 통신 신호를 사용자 단말(7)으로 전송할 수 있는 전화 통신 신호로 변환한다. 이러한 통신 연결기(38)는 TCP(Transmission Control Protocol), UDP(User Datagram Protocol), 또는 RTP(Real-time Transport Protocol)과 같은 인터넷 프로토콜; 또는 VoIP DTMF(Dual Tone Multi-Frequency) 프로토콜을 이용할 수 있다. VoIP DTMF 프로토콜의 경우, SIP Info, In Band, 또는 RFC2833이 이용될 수 있다. 통신 연결기(38)는 인터넷 또는 전화통신망에 연결하기 위해 모뎀(미도시)을 구비한다. 모뎀은 WiFi 및 WiMax용 무선 모뎀, 이동 전화기를 위한 모바일 모뎀, 유선전화기를 위한 모뎀 등일 수 있다. 통신 연결기(38)는 무선통신을 위한 안테나(미도시)를 구비할 수도 있다.
제어기(32)는 PIR 센서(24)에 의해 움직임 감지 신호가 생성되면, 촬영기(14)에 의해 촬영되며 비디오 인코더(28)에 의해 인코딩된 비디오 신호를 포함하는 전화 통신 신호가 사용자 단말(7)으로 전송되도록 촬영기(14), 비디오 인코더(28), 제1 통신신호 처리기(36), 및 통신 연결기(38)를 제어하며, 제1 통신 신호 처리기(36)로부터 제어 신호가 수신되면, 수신된 제어 신호에 따라 이동로봇을 이동시키기 위해 이동로봇 구동부를 제어하기 위한 구동 제어 신호를 생성한다. 이 제어기(32)는 또한 조명기(12), 마이크로폰(16) 및 스피커(22)의 온/오프와 촬영기(14)의 촬영여부를 제어할 수 있다. 제어기(32)에 의한 온/오프 및 촬영여부의 제어는 메모리(34)에 저장된 데이터나 이동로봇에 설치된 버튼들(미도시)의 조작, 또는 사용자 단말(7)으로부터의 제어에 의해 수행될 수 있다.
도 2의 이동로봇에서, 이동로봇 구동부(4)로는 기존에 사용되는 청소로봇과 같은 이동로봇이 사용될 수 있다. 이 경우, 기존의 이동로봇은 도 2의 제어 유닛(3)을 기존의 이동로봇에 탑재하도록 변형될 것이다. 또한, 제1 통신신호 처리기(36)는 제어 신호를 포함하는 통신 신호로 생성하도록 변형될 것이다. 이때, 이동로봇 구동부(4)의 제2 통신신호 처리기(42)는 제1 통신신호 처리기(36)로부터 통신 신호를 수신하며, 수신된 통신 신호로부터 구동 제어 신호를 분리한다. 이동로봇 구동부(4)의 제어기(44)는 제2 통신신호 처리기(42)에 의해 분리된 구동 제어 신호를 구동 제어에 이용할 지를 판단하며, 그렇다고 판단되는 경우, 제2 통신신호 처리기(42)에 의해 분리된 구동 제어 신호에 따라 이동로봇(2)을 이동시킨다.
이동로봇 구동부(4)로서 리모콘 자동차와 같은 리모콘 제어 가능한 완구를 이용할 수 있다. 이 경우, 메모리(34)에는 리모콘 제어가능한 완구의 제어에 필요한 특성 정보, 예컨대 구동기(46)의 회전수 등이 저장될 수 있다. 다르게는, 제어 유닛(3)을 탑재하기 위해 별도 제작된 이동로봇 구동부를 사용할 수도 있다.
도 2의 이동로봇(2)에는, 적당한 위치에, 바람직하게는 제어 유닛(3) 상의 적당한 위치에, 프라이버시 버튼(51)과 비상전화버튼(53)이 구비될 수 있다. 프라이버시 버튼(51)은 촬영기(14)의 동작을 강제로 온/오프시키기 위해 사용된다. 촬영기(14)의 동작의 강제 온/오프는 이동로봇(2)에 등록된 다수의 사용자 단말(7) 중에서 특정한 사용자 단말에만 주어지는 것이 바람직하다. 이렇게 함으로써, 프라이버시 버튼(51)의 조작에 의해 촬영기(14)의 촬영 동작이 강제로 오프된 경우, 제어기(32)는, 특정한 사용자 단말을 제외한 사용자 단말로부터의 요구에 대해서는 의해 촬영기(14)의 촬영 동작을 재개하지 않을 수 있다. 그러므로, 이동로봇(2)의 촬영 가능한 범위에 있는 사람의 프라이버시는 보호될 수 있다. 다르게는, 프라이버시 버튼(51)의 조작에 의해 촬영기(14)의 촬영 동작이 강제로 오프된 경우, 다시 프라이버시 버튼(51)을 조작에 의해서만 촬영기(14)의 촬영 동작이 온 될 수 있도록 이동로봇(3)을 구성할 수도 있다. 비상전화 버튼(53)에 관련하여, 비상전화 버튼(53)이 눌러졌을 때, 제어기(32)가 메모리(34)에 등록된 사용자 단말에 전화를 걸 수 있도록 구성될 제어유닛(3)이 구성될 수 있다.
도 1 및 도 2를 참조하여, 도 2에 보인 이동로봇(2)의 동작을 설명하면 다음과 같다.
먼저, 적어도 하나의 PIR 센서 유닛(8) 또는 이동로봇(2)의 PIR 센서(24)가 사람 등의 대상체의 이동을 감지하고 움직임 감지 신호를 생성하면, 움직임 감지 신호를 수신하는 제어기(32)는 제1 통신신호 처리기(36) 및 통신 연결기(38)를 제어하여, 메모리(34)에 저장된 등록된 사용자 단말(7)에 통신 요청 신호를 전송한다. 해당 사용자 단말(7)으로부터 통신 수락 신호가 수신되면, 제어기(32)는 촬영기(14)의 동작을 온 시킨다. 촬영기(14)는 전방에 장면을 촬영하며, 이때 필요에 따라 조명기(12) 및/또는 마이크로폰(16)이 온 될 수도 있다. 비디오 인코더(28)는 촬영기(14)에 의해 획득된 비디오 신호를 인코딩하며, 인코딩된 비디오 신호를 통신신호 처리기(36)에 전송한다. 통신신호 처리기(36)는 인코딩된 비디오 신호를 포함하는 전화 통신 신호를 생성하며, 생성된 전화 통신 신호를 통신 연결기(38)에 전송한다. 통신 연결기(38)는 통신신호 처리기(36)로부터 수신된 전화 통신 신호를 연결된 통신 링크에 적합한 신호로 변환하여 사용자 단말(7)에 전송한다. 그러므로, 화상전송 유닛(7)의 사용자는 화상전송 유닛(7)의 디스플레이에 표시되는 영상에 기초하여 이동로봇(2)의 동작을 제어할 수 있다.
이동로봇(2)이 전송한 화상 정보가 PIR 센서(24)가 이동을 감지한 사람 등의 대상체를 담고 있는 경우, 사용자는 화상전송 유닛(7)을 통해 이동로봇(2)의 동작을 용이하게 제어할 수 있다. 반면, 화상전송 유닛(7)의 사용자가 이동로봇(2)이 위치한 장소의 공간정보를 잘 알고 있지 못하는 경우, 또는 이동로봇(2)과는 떨어져 있는 PIR센서 유닛(8)이 대상체의 움직임을 감지하고 움직임 감지 신호를 생성한 경우, 화상전송 유닛(7)의 사용자는 마이크로폰(16)을 온 시켜 마이크로폰(16)을 통해 제공되는 음성 정보에 기초하여 이동로봇(2)을 제어할 수도 있다. 이 경우, 화상전송 유닛(7)으로부터의 "마이크로폰 온" 설정을 포함하는 전화 통신 신호는 전화 통신기(38) 및 통신 신호 처리기(36)를 통하여 "마이크로폰 온" 설정을 포함하는 제어 신호로 변환되어 제어기(32)에 전송되며, 제어기(32)는 그 제어 신호에 따라 마이크로폰(16)을 온 시킨다. 조명기(12)와 스피커(22)의 제어 역시 마이크로폰(16)과 유사하게 행해질 수 있다.
화상전송 유닛(7)에 의한 제어 신호에 생성에는 DTMF가 사용될 수 있다. 화상전송 유닛(7)이 이동 또는 유선 전화기인 경우, 전화기의 키패드에 있는 버튼들 또는 버튼들의 조합이 제어 신호의 생성을 위한 명령 입력에 이용될 수 있다. 또한, 화상전송 유닛(7)이 컴퓨터인 경우, 키보드와 마우스 등의 입력 기기가 명령 입력을 위해 사용될 수 있고. 디스플레이의 화면이 명령의 입력을 용이하게 하기 위한 그래픽 사용자 입력 인터페이스를 표시할 수도 있다.
화상전송 유닛(7)에 의해 팬/틸트 제어 또는 이동로봇의 이동을 위한 구동 제어 신호를 담고 있는 전화 통신 신호가 송신되면, 이동 로봇(2)의 제어기(32)는 구동 제어 신호가 팬/틸트 제어를 위한 것인지 이동로봇의 이동 제어를 위한 것인지를 판단하고, 그 결과에 따른 구동 제어 신호를 생성한다. 제어기(32)는 팬/틸트 제어를 위한 구동 제어 신호를 팬/틸트 제어기(26)로 전송하고, 이동로봇의 이동 제어를 위한 구동 제어 신호를 이동로봇 구동부(4)에 전송한다.
도 3은 도 2의 이동로봇을 3G폰, 스마트폰, WIFI폰, 또는 SoIP폰을 이용하여 제어하는 경우를 설명하기 위한 도면이다. 도 3은, 이동로봇(2)과 사용자 단말(7)은 RTP 프로토콜을 사용하여 통신하며, 이동로봇 구동부(4)는 기존의 청소로봇과 같은 이동로봇이며 이동로봇(2)의 제어 유닛(3)과 RTP 프로토콜을 사용하여 통신하고, 네트워크(6)는 VoIP 네트워크인 예를 보이고 있다. 도 3에서, Invite 신호는 제어 유닛(3)이 사용자 단말(7)에 전송하는 통신 요청 신호이고, Invite 신호 바로 뒤의 OK 신호는 사용자 단말(7)으로부터 제어 유닛(3)에 전송되는 통신 수락 신호이다. 도 3을 보면, RTP(음성신호)와 RTP(영상신호)가 사용자 단말(7)과 이동로봇(2)의 제어 유닛(3) 간에 전송되는데, 이 신호들은 인코딩된 비디오 신호를 포함하는 전화 통신 신호 및 인코딩된 오디오 신호를 포함하는 전화 통신 신호에 해당한다. 사용자 단말(7)에서부터 이동로봇(2)의 제어 유닛(3)으로 전송되는 RTP(영상신호)를 위해 제어 유닛(3)은 별도의 디스플레이(미도시)를 구비할 수 있다. 이 경우, 비디오 인코더(28)는 비디오 코덱으로 대체될 수 있고, 통신신호 처리기(36)는 인코딩된 비디오 신호를 비디오 코덱에 전송하고, 비디오 코덱은 인코딩된 비디오 신호를 디코딩하여 비디오 신호를 디스플레이에 전송하고, 디스플레이는 비디오 신호를 영상으로서 재현할 수 있다. 이동로봇 구동부(4)가 기존의 청소로봇과 같은 이동로봇인 경우, 그 이동로봇에서 발생하는 이벤트, 예컨대, 사용자에 의한 동작 종료 명령 등이 발생하면 이동로봇 구동부(4)의 제어기(44)에 제어에 의해 제2 통신신호 처리기(42)로부터 RTP(event)신호가 생성되며 그 RTP(event)신호는 제어 유닛(3)을 통해 사용자 단말(7)에 전송된다. 사용자 단말(7)은 수신되는 RTP(event)신호에 응답하여 BYE 신호를 화상전송 및 제어부(3)에 전송하고, 화상전송 및 제어부(3)은 BYE 신호에 응답하여 사용자 단말(7)에 의한 제어가 완료됨을 알리는 OK 신호를 사용자 단말(7)에 전송한다. BYE 신호 및 그 뒤의 OK 신호의 전송들은 사용자 단말(7)에 의한 제어가 완료될 때 전송될 수도 있다.
도 2의 설명에서는, 도 2의 이동로봇(2)과 사용자 단말(7) 사이에서 실제로 전송되는 신호들에 관하여 충분히 설명되어 있다. 따라서, 본 발명의 당업자는 도 3이 RTP에 관련하여 설명되었지만 도 2의 장치의 각각의 신호들의 전송이 도 3의 신호 전송에 어떻게 적용되는 지를 용이하게 이해할 수 있을 것이다.
도 4는 도 2의 이동로봇(2)을 사용자 단말(7)인 개인용 컴퓨터(PC)의 웹 브라우저(미도시)를 이용하여 제어하는 경우를 설명하기 위한 도면이다. 도 4를 참조하면, 사용자 단말(7)은 네트워크(6)를 통해 제어 유닛(3)과 통신하며, 네트워크(6)는 인터넷이다. 개인용 컴퓨터(7)와 제어 유닛(3)은 SYN 신호와 SYN_ACK 신호에 의해 서로 연결된다. SYN 신호와 SYN_ACK 신호를 사용하면, 개인용 컴퓨터(7)와 제어 유닛(3)의 신호처리는 동기화될 수 있다. 다음으로, 개인용 컴퓨터(7)와 제어 유닛(3)은 인증 동작을 수행하여 개인용 컴퓨터(7)가 제어 유닛(3)의 메모리(34)에 저장되어 있는 등록된 단말인지가 확인된다. 인증이 성공적으로 수행된 경우, 사용자에 의해 제어되는 개인용 컴퓨터(7)는 제어 신호를 제어 유닛(3)를 통해 이동로봇 구동부(4)로 전송한다. 제어가 완료된 경우, 개인용 컴퓨터(7)는 SYN 신호를 제어 유닛(3)에 전송하고, 제어 유닛(3)은 이에 응답하여 SYN_ACK 신호를 개인용 컴퓨터(7)에 전송한다. 이것에 의해 개인용 컴퓨터(7)에 의한 이동로봇(2)의 제어는 완료된다.
개인용 컴퓨터(7)와 제어 유닛(3) 사이에서 실제로 전송되는 정보들에 관해서는 도 2에 관련하여 충분히 설명되었다. 그러므로, 도 4의 설명에서는, 도 2의 이동로봇(3)과 사용자 단말(7) 사이에서 실제로 전송되는 신호들에 관하여 충분히 설명되어 있다. 따라서, 본 발명의 당업자는 도 4가 TCP 에 관련하여 설명되었지만 도 2의 장치의 각각의 신호들의 전송이 도 4의 신호 전송에 어떻게 적용되는 지를 용이하게 이해할 수 있을 것이다.
도 2의 실시예에서 제어 유닛(3)이 조명기(12), 마이크로폰(16), 스피커(22)를 구비하지 않는 도 2의 실시예의 변형예가 가능하다. 또한, 도 2의 실시예에서 제어 유닛(3)이 스피커(22)를 구비하지 않는 도 2의 실시예의 변형예 역시 가능하다. 이처럼, 도 2에 보인 구성은 본 발명을 한정하기 위한 것이 아니며 따라서, 도 2의 구성은 다양한 변형예들로 변경될 수 있음이 당업자에게 명백할 것이다.
1: 댁(HOME) 2: 이동로봇
3: 제어 유닛 4: 이동로봇 구동부
5: 댁내 인터넷 연결 장치 6: 네트워크
7: 사용자 단말 8: PIR 센서 유닛
10: 가동 모듈 20: 비가동 모듈

Claims (7)

  1. 사용자 단말에 의해 제어가 가능한 이동로봇에 있어서,
    구동 제어 신호에 따라 상기 이동로봇을 이동시키는 이동로봇 구동부; 및
    사용자 단말에 촬영되고 인코딩된 비디오 신호를 포함하는 전화 통신 신호를 전송하며, 사용자 단말로부터의 전화 통신 신호에 포함된 제어 신호에 따라 상기 구동 제어 신호를 생성하는 제어 유닛을 포함하는 이동로봇.
  2. 제1항에 있어서, 상기 제어 유닛은,
    PIR 센서;
    촬영기;
    상기 촬영기에 의해 생성된 비디오 신호를 인코딩하여 인코딩된 비디오 신호를 생성하는 비디오 인코더;
    상기 사용자 단말로부터 제어신호를 포함하는 전화 통신 신호를 수신하고, 인코딩된 비디오 신호를 포함하는 전화 통신 신호를 상기 사용자 단말로 전송하는 통신 연결기;
    구동 제어 신호를 상기 이동로봇 구동부로 전송하며, 상기 사용자 단말로부터 상기 통신 연결기를 통해 수신된 전화 통신 신호로부터 제어 신호를 분리하고, 인코딩된 비디오 신호를 포함하는 전화 통신 신호를 생성하는 제1 통신신호 처리기; 및
    상기 PIR 센서에 의해 움직임 감지 신호가 생성되면, 상기 촬영기에 의해 촬영되며 상기 비디오 인코더에 의해 인코딩된 비디오 신호를 포함하는 전화 통신 신호가 상기 사용자 단말로 전송되도록 상기 촬영기, 상기 비디오 인코더, 상기 제1 통신신호 처리기, 및 상기 통신 연결기를 제어하며, 상기 통신 신호 처리기로부터 제어 신호가 수신되면, 수신된 제어 신호에 따라 상기 이동로봇을 이동시키기 위해 이동로봇 구동부를 제어하기 위한 구동 제어 신호를 생성하는 제어기를 포함하는 것을 특징으로 하는 이동로봇.
  3. 제2항에 있어서, 상기 제어 유닛은,
    마이크로폰; 및
    상기 마이크로폰에 의해 생성된 오디오 신호를 인코딩하여 인코딩된 오디오 신호를 생성하는 오디오 처리부를 더 포함하며,
    제1 통신신호 처리기는 인코딩된 오디오 신호를 포함하는 전화 통신 신호를 생성하며,
    상기 통신 연결기는 인코딩된 오디오 신호를 포함하는 전화 통신 신호를 상기 사용자 단말로 송신하는 것을 특징으로 하는 이동로봇.
  4. 제3항에 있어서, 상기 제어 유닛은, 스피커를 더 포함하며,
    상기 오디오 처리부는, 제1 통신신호 처리기에 의해 전화 통신 신호로부터 분리된 오디오 신호를 수신하며, 수신된 오디오 신호를 처리하여 소리 신호를 생성하며,
    상기 스피커는 상기 오디오 처리부에 의해 생성된 소리 신호를 소리로 변환시키는 것을 특징으로 하는 이동로봇.
  5. 제3항에 있어서, 상기 제어 유닛은,
    가동모듈; 및
    상기 가동 모듈을 좌우이동 및 상하이동시키기 위한 팬/틸트 제어기를 더 포함하며,
    상기 가동모듈은,
    상기 촬영기, 조명기, 마이크로폰을 포함하며,
    상기 제어기는 제1 통신신호 처리기로부터의 제어 신호에 따라 상기 가동 모듈을 좌우이동 및 상하이동시키기 위해 상기 팬/틸트 제어기를 제어하는 특징으로 하는 이동로봇.
  6. 제1항에 있어서, 상기 제1 통신신호 처리기는 구동 제어 신호를 포함하는 통신 신호로 생성하며
    상기 이동로봇 구동부는,
    상기 제1 통신신호 처리기로부터 통신 신호를 수신하며, 수신된 통신 신호로부터 구동 제어 신호를 분리하는 제2 통신신호 처리기;
    상기 구동 제어 신호에 따라 이동로봇을 이동시키는 구동기를 포함하는 것을 특징으로 하는 이동로봇.
  7. 적어도 하나의 PIR 센서 유닛; 및
    사용자 단말에 의해 제어가 가능한 제1항 내지 제6항 중 어느 한 항의 이동로봇으로서 상기 적어도 하나의 PIR 센서 유닛과 통신하는 이동로봇을 포함하며,
    상기 이동로봇의 화상전송 및 제어기는 상기 적어도 하나의 PIR 센서 유닛에 의해 움직임 감지 신호가 생성되면, 상기 촬영기에 의해 촬영되며 상기 비디오 인코더 의해 인코딩된 비디오 신호를 포함하는 전화 통신 신호가 상기 사용자 단말로 전송되도록 상기 촬영기, 상기 비디오 인코더, 상기 제1 통신신호 처리기, 및 상기 통신 연결기를 제어하는 것을 특징으로 하는 홈 케어링 시스템.
KR1020100038534A 2010-04-26 2010-04-26 사용자 단말에 의해 제어 가능한 제어 유닛을 구비한 이동로봇 및 이를 활용한 홈 케어링 시스템 KR101191978B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100038534A KR101191978B1 (ko) 2010-04-26 2010-04-26 사용자 단말에 의해 제어 가능한 제어 유닛을 구비한 이동로봇 및 이를 활용한 홈 케어링 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100038534A KR101191978B1 (ko) 2010-04-26 2010-04-26 사용자 단말에 의해 제어 가능한 제어 유닛을 구비한 이동로봇 및 이를 활용한 홈 케어링 시스템

Publications (2)

Publication Number Publication Date
KR20110119057A true KR20110119057A (ko) 2011-11-02
KR101191978B1 KR101191978B1 (ko) 2012-10-17

Family

ID=45390690

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100038534A KR101191978B1 (ko) 2010-04-26 2010-04-26 사용자 단말에 의해 제어 가능한 제어 유닛을 구비한 이동로봇 및 이를 활용한 홈 케어링 시스템

Country Status (1)

Country Link
KR (1) KR101191978B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107659659A (zh) * 2017-10-14 2018-02-02 广东宝乐机器人股份有限公司 一种移动机器人及其数据传输方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4265377A1 (en) 2021-06-28 2023-10-25 Samsung Electronics Co., Ltd. Robot and driving method therefor

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100588626B1 (ko) 2004-06-15 2006-06-14 주식회사 케이티프리텔 유무선 통합 네트워크를 통한 로봇 제어 방법 및 장치
KR100750407B1 (ko) 2006-05-04 2007-08-17 성균관대학교산학협력단 사용자 인터페이스를 이용한 원격 조종 로봇 시스템 및 그방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107659659A (zh) * 2017-10-14 2018-02-02 广东宝乐机器人股份有限公司 一种移动机器人及其数据传输方法

Also Published As

Publication number Publication date
KR101191978B1 (ko) 2012-10-17

Similar Documents

Publication Publication Date Title
US7916174B2 (en) System and method for remotely controlling a camera
KR20050052826A (ko) 홈 오토메이션 기기의 제어 기능을 구비한 홈 게이트웨이및 이를 이용한 네트워크 시스템
TWI484827B (zh) 視訊會議系統、視訊會議終端裝置及用於視訊會議之影像擷取方法
CN111988555B (zh) 一种数据处理方法、装置、设备和机器可读介质
KR20070061213A (ko) 원격조정이 가능한 로봇을 이용한 보안 감시 시스템 및방법
JP2015002506A (ja) セキュリティシステム
JP5228551B2 (ja) ドアインターフォン装置とip型携帯電話との連携方式
KR101191978B1 (ko) 사용자 단말에 의해 제어 가능한 제어 유닛을 구비한 이동로봇 및 이를 활용한 홈 케어링 시스템
JP2015119335A (ja) 動き変化量に応じて撮影動画像のフレームを間引く端末、システム、プログラム及び方法
KR20090106030A (ko) 보안 시스템
JP2004289657A (ja) テレビドアホンシステム
KR100738556B1 (ko) 영상기기 제어를 위한 홈 네트워킹 시스템
KR101131904B1 (ko) VoIP를 이용한 실시간 방범 시스템
KR200362050Y1 (ko) 네트워크 카메라 서버 장치
JP6145305B2 (ja) インターホンシステム
KR20060000618A (ko) 네트워크 카메라 서버 장치
KR20120138720A (ko) 사용자 단말에 의해 제어가 가능한 제어유닛을 구비한 단말장치를 활용한 네트워크 광고시스템
KR20090116148A (ko) 자동발수신이 가능한 아이피기반의 에스아이피 카메라폰
JP2001292442A (ja) 電話機による遠隔監視システム
JP2006184978A (ja) 防犯装置
JP5430915B2 (ja) 呼制御方法及びインターホンシステム
KR100756271B1 (ko) Sip 프로토콜을 이용한 네트워크 카메라 제어 방법 및그 시스템
KR100522182B1 (ko) 원격 모니터링 지원이 가능한 홈패드 및 이의 운영 방법
KR20120135549A (ko) 사용자 단말에 의해 제어가 가능한 제어유닛을 구비한 단말장치와 이를 활용한 네트워크 광고시스템
JP2015088780A (ja) インターホンシステム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150718

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160810

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180801

Year of fee payment: 7