KR20060112922A - System and method for recognizing object using mobile phone - Google Patents
System and method for recognizing object using mobile phone Download PDFInfo
- Publication number
- KR20060112922A KR20060112922A KR20050035652A KR20050035652A KR20060112922A KR 20060112922 A KR20060112922 A KR 20060112922A KR 20050035652 A KR20050035652 A KR 20050035652A KR 20050035652 A KR20050035652 A KR 20050035652A KR 20060112922 A KR20060112922 A KR 20060112922A
- Authority
- KR
- South Korea
- Prior art keywords
- portable terminal
- information
- providing server
- coordinate value
- predetermined
- Prior art date
Links
Images
Abstract
Description
도 1은 종래의 홈네트워킹 시스템의 구성을 도시한 도면.1 is a view showing the configuration of a conventional home networking system.
도 2는 본 발명에 따른 휴대용 단말기를 이용한 물체 인식 시스템의 구성도.2 is a block diagram of an object recognition system using a portable terminal according to the present invention.
도 3은 본 발명에 따른 물체 인식 시스템을 구성하는 휴대용 단말기의 내부 구성도.Figure 3 is an internal configuration of a portable terminal constituting the object recognition system according to the present invention.
도 4는 본 발명에 따른 물체 인식 시스템을 구성하는 정보 제공 서버의 내부 구성도.4 is an internal configuration diagram of an information providing server constituting an object recognition system according to the present invention.
도 5(도 5a 내지 도 5d)는 본 발명에 따른 쿼드트리 방식을 통해 사용자 및 물체의 위치정보를 산출하는 과정을 설명하기 위한 도면.5 (5a to 5d) is a view for explaining the process of calculating the position information of the user and the object through a quadtree method according to the present invention.
도 6은 본 발명에 따른 휴대용 단말기를 이용한 물체 인식 과정을 도시한 순서도.6 is a flowchart illustrating an object recognition process using a portable terminal according to the present invention.
도 7은 본 발명에 따른 휴대용 단말기가 지시한 소정 물체의 위치 좌표값을 감지하는 과정을 도시한 순서도.7 is a flowchart illustrating a process of detecting a position coordinate value of a predetermined object indicated by the portable terminal according to the present invention.
도 8은 본 발명에 따른 정보 제공 서버에서 휴대용 단말기가 지시한 소정 물체의 위치정보를 산출하는 과정을 도시한 순서도.8 is a flowchart illustrating a process of calculating position information of a predetermined object indicated by a portable terminal in the information providing server according to the present invention.
도 9는 본 발명에 따른 정보 제공 서버에서 산출된 위치정보에 연계된 속성 정보를 독출하는 과정을 도시한 순서도.9 is a flowchart illustrating a process of reading attribute information associated with location information calculated by an information providing server according to the present invention.
도 10은 본 발명에 따른 정보 제공 서버에서 휴대용 단말기로부터 입력되는 제어명령에 따라 소정 물체에 대한 제어를 수행하는 과정을 도시한 순서도.10 is a flowchart illustrating a process of performing control on a predetermined object according to a control command input from a portable terminal in an information providing server according to the present invention.
* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings
100 : 네트워크 통신망 200 : 휴대용 단말기100: network communication network 200: portable terminal
210 : 통신인터페이스 220 : 키패드210: communication interface 220: keypad
230 : 메모리 240 : 센서부230: memory 240: sensor
241 : 방위각 센서 242 : 방위센서241: azimuth sensor 242: azimuth sensor
243 : 거리센서 244 : GPS 센서243: distance sensor 244: GPS sensor
250 : A/D 변환부 260 : 마이크로프로세서250: A / D conversion unit 260: microprocessor
300 : 정보 제공 서버 310 : 통신인터페이스300: information providing server 310: communication interface
320 : 데이터베이스 330 : 위치정보 산출부320: database 330: location information calculation unit
340 : 데이터 처리부 400 : 물체340: data processor 400: object
본 발명은 휴대용 단말기를 이용한 물체 인식 시스템 및 방법에 관한 것이다.The present invention relates to an object recognition system and method using a portable terminal.
보다 구체적으로는, 휴대용 단말기에 내장된 센서를 이용하여 사용자가 지적한 방향에 위치하는 물체를 인식하여 해당 물체에 대한 동작을 제어할 수 있는 물 체 인식 시스템 및 방법에 관한 것이다.More specifically, the present invention relates to an object recognition system and a method for controlling an operation of an object by recognizing an object located in a direction pointed by a user using a sensor embedded in a portable terminal.
일반적으로 유무선 인터넷(Internet)은 전세계 어디서나, 누구나 접속하고자 하는 상대편 단말기에 소정의 공통 프로토콜, 예를 들면 TCP/IP(Transmission Control Protocol/Internet Protocol)라는 공통의 프로토콜을 적용하여 자유롭게 연결하여 사용할 수 있도록 구성된 개방형 네트워크로서, 기본적인 문자정보의 전달은 물론 압축기술의 발전과 더불어 멀티미디어 정보의 전달에 이용되는 등 전자 우편, 파일 전송, 홈네트워크, WWW(World Wide Web) 등의 다양한 서비스를 이용할 수 있다.In general, the wired and wireless Internet can be freely connected by applying a common protocol, such as TCP / IP (Transmission Control Protocol / Internet Protocol), to a terminal that anyone wants to access anywhere in the world. As an open network configured, various services such as e-mail, file transfer, home network, and World Wide Web (WWW) can be used such as not only basic text information but also compression technology and multimedia information.
이와 같은 유무선 인터넷은 국내를 비롯해 세계적으로 사용이 급격하게 증가되면서 기존 산업의 전 부분에 걸쳐 효율성과 생산성 제고를 위한 전략적인 도구로서 중요성이 급속히 증대되고 있으며, 인터넷을 통한 새로운 비즈니스 기회가 지속적으로 창출됨은 물론, 그 영역도 확장되고 있는 추세여서 인터넷을 이용한 사업자들도 점차 증가되고 있다.As the usage of wired and wireless Internet is rapidly increasing in Korea and globally, it is rapidly increasing in importance as a strategic tool for improving efficiency and productivity in all parts of the existing industry, and new business opportunities are continuously created through the Internet. Of course, the area is also expanding, and the number of operators using the Internet is gradually increasing.
최근 들어 이와 같은 유무선 인터넷을 기반으로 하는 사용자 중심의 상황인식 서비스, 즉, 유무선 인터넷과 통신 접속되는 소정의 휴대용 단말기를 이용하여 가정 내에 설치된 텔레비전, 냉장고, 컴퓨터 등의 가전 기기들과 상호 통신하여 제어하기 위한 홈네트워킹 기술이 급속하게 증가하고 있다.Recently, a user-centered situation awareness service based on the wired / wireless internet, that is, a predetermined portable terminal connected to the wired / wireless internet, communicates with and controls home appliances such as televisions, refrigerators, and computers installed in the home. Home networking technology is increasing rapidly.
도 1을 참조하여 상황인식 서비스의 한 형태인 홈네트워킹 기술에 대해 구체적으로 설명하면, 한국공개특허공보 제 10-2004-0107009호에는 각 방의 소정 위치에 부착된 베이스 알에프 수신기(141)와 가전 제품의 소정 위치에 각각 설치되는 다수의 알에프 수신기(131,132,133,134)를 포함하고, 알에프 수신기를 통해 사용자의 알에프 송신부(110)로부터 제공된 해당 사용자 위치 데이터가 수신될 때 외부로부터 제공된 제품 사용 데이터를 수신하여 가전 제품을 제어하는 알에프 수신부(130) 및 알에프 수신기로부터 제공된 사용자 위치 데이터와 제품 사용 데이터를 분석 및 분류하여 데이터 베이스에 저장하고 알에프 전송부의 사용자 위치 데이터가 베이스 알에프 수신기(141)에 의해 수신될 때 데이터 베이스에 미리 저장된 제품 사용 데이터를 출력하여 해당 가전 제품의 작동을 제어하는 제어 장치(150)로 이루어지는 홈 네트워크 제어 장치에 대해 기술되어 있다.Referring to FIG. 1, the home networking technology, which is a form of situation recognition service, will be described in detail. Korean Laid-Open Patent Publication No. 10-2004-0107009 discloses a
종래의 이와 같은 상황인식 서비스의 한 형태인 홈네트워킹 기술의 경우, 사용자 및 사물 등의 객체를 인식하기 위해서는 각종 센서를 각각의 객체, 여기서는 가전기기마다 장착해야 하기 때문에 유지보수가 어려웠을 뿐만 아니라 설치비용이 많이 든다.In the case of the home networking technology, which is a form of the conventional situation awareness service, in order to recognize objects such as users and things, it is difficult to maintain and install various sensors for each object, here, home appliances. It costs a lot
또한, 상술한 바와 같은 상황인식 서비스가 제공되는 공간이 객체를 인식하기 위한 센서를 설치할 수 있는 소정 공간, 예를 들면 실내에 국한되기 때문에 실외와 같은 광범위한 공간에서는 적용될 수 없었다.In addition, since the space in which the situation recognition service as described above is provided is limited to a predetermined space in which a sensor for recognizing an object is installed, for example, indoor, it cannot be applied in a wide range of space such as outdoors.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 휴대용 단말기에 내장된 위치 감지 센서에 의해 감지된 소정 물체의 위치정보에 의해 해당 물체를 인식한 후 이를 제어하는 물체 인식 시스템 및 방법을 제공하는 데 있다.The present invention has been made in order to solve the above problems, and provides an object recognition system and method for controlling the object after recognizing the object by the position information of the predetermined object detected by the position sensor embedded in the portable terminal. There is.
이와 같은 목적을 달성하기 위한 본 발명은, 불특정 다수의 통신망을 연결하여 상호 간에 데이터 통신을 수행하는 네트워크 통신망; 사용자가 지시한 소정 물체의 위치 좌표값을 감지하는 센서를 내장하고, 센서에 의해 감지된 물체의 위치 좌표값을 외부로 전송하는 동시에 해당 물체에 대한 속성정보를 입력받아 출력시킨 후, 해당 물체의 속성정보를 참조하여 입력되는 소정의 제어명령을 외부로 전송하는 휴대용 단말기; 및 휴대용 단말기로부터 해당 물체에 대한 위치 좌표값을 입력받고, 소정의 위치인식 프로그램을 구동시켜 위치 좌표값으로부터 해당 물체에 대한 위치정보를 산출한 후 산출된 위치정보에 설정된 소정의 속성정보를 독출하여 휴대용 단말기로 전송하고, 해당 물체의 속성정보에 연동하여 휴대용 단말기로부터 입력되는 제어명령에 따라 해당 물체에 대한 제어를 수행한 후, 제어명령에 의해 제어된 해당 물체의 상태정보를 휴대용 단말기로 전송하는 정보 제공 서버를 포함하여 구성된 것을 특징으로 한다.The present invention for achieving the above object is a network communication network for performing data communication with each other by connecting a plurality of unspecified communication network; Built-in sensor that detects the position coordinate value of a certain object instructed by the user, transmits the position coordinate value of the object detected by the sensor to the outside, receives and outputs the attribute information of the object, and then A portable terminal for transmitting a predetermined control command to the outside with reference to the attribute information; And receiving a position coordinate value of the object from the portable terminal, driving a predetermined position recognition program to calculate the position information of the object from the position coordinate value, and reading the predetermined attribute information set in the calculated position information. Transmitting to the portable terminal, controlling the object according to a control command input from the portable terminal in association with the property information of the object, and then transmitting the state information of the object controlled by the control command to the portable terminal. Characterized in that it comprises an information providing server.
본 발명은, 휴대용 단말기가 사용자가 지시한 방향에 위치하는 소정 물체에 대한 위치 좌표값을 검출하는 단계; 휴대용 단말기로부터 상기 위치 좌표값이 입력됨에 따라, 정보 제공 서버가 소정의 위치인식 프로그램을 구동시켜 해당 물체에 대한 위치정보를 산출하는 단계; 정보 제공 서버가 산출된 위치정보를 참조하여 해당 물체에 설정된 소정의 속성정보를 독출하여 휴대용 단말기로 전송하는 단계; 및정보 제공 서버가 사용자에 의해 입력된 제어명령에 따라 해당 물체에 대한 제어를 수행하는 단계를 포함하여 구성된 것을 특징으로 한다.The present invention includes the steps of detecting, by the portable terminal, a position coordinate value for a predetermined object located in a direction indicated by a user; Calculating, by the information providing server, a position recognition program by driving a predetermined position recognition program as the position coordinate value is input from the portable terminal; Reading, by the information providing server, the predetermined attribute information set on the object with reference to the calculated position information and transmitting the predetermined attribute information to the portable terminal; And performing, by the information providing server, the control of the corresponding object according to the control command input by the user.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명 한다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the present invention.
먼저, 도 2 내지 도 5를 참조하여 본 발명에 따른 휴대용 단말기를 이용한 물체 인식 시스템의 구성 및 동작을 상세하게 설명한다.First, the configuration and operation of an object recognition system using a portable terminal according to the present invention will be described in detail with reference to FIGS. 2 to 5.
여기서, 도 2는 본 발명에 따른 휴대용 단말기를 이용한 물체 인식 시스템의 구성도이고, 도 3은 본 발명에 따른 물체 인식 시스템을 구성하는 휴대용 단말기의 내부 구성도이고, 도 4는 본 발명에 따른 물체 인식 시스템을 구성하는 정보 제공서버의 내부 구성도이고, 도 5는 본 발명에 따른 쿼드트리 방식을 통해 사용자 및 물체의 위치정보를 산출하는 과정을 설명하기 위한 도면이다.2 is a configuration diagram of an object recognition system using a portable terminal according to the present invention, FIG. 3 is an internal configuration diagram of a portable terminal constituting an object recognition system according to the present invention, and FIG. 4 is an object according to the present invention. 5 is a diagram illustrating an internal configuration diagram of an information providing server configuring a recognition system, and FIG. 5 illustrates a process of calculating location information of a user and an object through a quadtree method according to the present invention.
본 발명에 따른 휴대용 단말기를 이용한 물체 인식 시스템은, 휴대용 단말기가 지시한 방향에 위치하는 소정 물체의 위치 정보를 검출하여 해당 물체에 대한 동작을 제어하는 것으로서, 도 2에 도시된 바와 같이, 네트워크 통신망(100), 휴대용 단말기(200) 및 정보 제공 서버(300)를 포함하여 구성되어 있다.The object recognition system using the portable terminal according to the present invention is to detect the position information of a predetermined object located in the direction indicated by the portable terminal and control the operation of the object, as shown in FIG. 2, a network communication network. It comprises a 100, a
여기서, 네트워크 통신망(100)은 유무선 인터넷 통신망으로서 휴대용 단말기(200)와 정보 제공 서버(300) 사이의 통신회선을 연결하여 상호 간의 데이터 통신이 이루어지도록 하는 역할을 수행한다.Here, the
휴대용 단말기(200)는 네트워크 통신망(100)을 통해 정보 제공 서버(300)와 통신 접속되어 있고, 사용자가 지시한 물체(400), 예를 들면 실내의 소정 장소에 위치하는 텔레비전, 오디오, 가스레인지, 블라인드 등의 가전제품을 제어하기 위한 원격제어 프로그램을 내장하고 있다.The
이때, 휴대용 단말기(200)는 사용자가 지시한 물체를 제어하기 위한 원격제 어 프로그램을 네트워크 통신망(100)을 통해 정보 제공 서버(300)로부터 다운로드받을 수도 있다.In this case, the
휴대용 단말기(200)는 사용자의 위치 데이터와 해당 사용자가 지시한 물체에 대한 위치 데이터를 검출하는 각종 센서가 내장되어 있고, 해당 센서에 의해 검출된 사용자 및 물체의 위치 데이터를 네트워크 통신망(100)을 통해 정보 제공 서버(300)로 전송한다.The
또한, 휴대용 단말기(200)는 사용자가 지시한 소정 물체에 대한 속성정보, 예를 들면 해당 사용자에 의해 지시된 가전제품 종류 등의 속성정보를 네트워크 통신망(100)을 통해 정보 제공 서버(300)로부터 전송 받은 후 이를 출력시킨다. In addition, the
여기서, 휴대용 단말기(200)가 지시한 물체가 실외의 소정 방향에 위치하는 특정 건물 또는 지형인 경우, 상기 속성정보는 해당 건물 또는 지형에 대한 정보, 예를 들면 건물명, 용도, 연락처, 제공되는 서비스 항목 또는 지리정보 등을 의미한다. Here, when the object indicated by the
이때, 소정의 입력수단을 통해 사용자에 의해 지시된 물체에 대한 제어명령, 예를 들면 사용자가 지시한 물체가 가전제품인 경우 해당 가전제품에 대한 온/오프, 채널선택 및 볼륨조절 등의 제어명령이 입력되면, 휴대용 단말기(200)는 입력된 제어명령을 네트워크 통신망(100)을 통해 정보 제공 서버(300)로 전송한다.At this time, a control command for an object indicated by the user through a predetermined input means, for example, when the object indicated by the user is a home appliance, control commands such as on / off, channel selection, and volume control for the corresponding home appliance are provided. When input, the
이후, 휴대용 단말기(200)는 소정의 입력수단을 통해 입력되는 제어명령에 연동하여 정보 제공 서버(300)에 의해 제어된 해당 물체의 상태정보를 네트워크 통신망(100)을 통해 전송 받은 후 이를 출력시킨다.Thereafter, the
도 3을 참조하여 상술한 바와 같은 역할을 수행하는 휴대용 단말기의 내부 구성 및 동작을 보다 구체적으로 설명한다.Referring to Figure 3 will be described in more detail the internal configuration and operation of the portable terminal performing the role as described above.
본 발명에 따른 휴대용 단말기(200)는 내장된 센서를 통해 사용자의 위치 좌표값과 사용자가 지적한 물체의 위치 좌표값을 검지하여 정보 제공 서버(300)로 전송하는 역할을 수행하는 것으로서, 도 3에 도시된 바와 같이, 통신인터페이스(210), 키패드(220), 메모리(230), 센서부(240), A/D 변환부(250), 마이크로 프로세서(260) 및 표시부(270)를 포함하여 구성되어 있다.The
통신인터페이스(210)는 네트워크 통신망(100)을 통해 정보 제공 서버(300)와의 통신접속을 수행하여 소정의 데이터 송수신을 수행하는 것으로서, Wifi, 블루투스 등의 무선 통신 프로토콜 또는 CDMA, GSM, TDMA 등과 같은 무선 전화용 통신 프로토콜을 통해 정보 제공 서버(300)와의 데이터 통신을 수행한다.The
키패드(220) 상에는 숫자, 기호 및 문자 등을 입력하기 위한 키와 사용자가 지시한 물체를 제어하기 위한 메뉴키 등이 배치되어 있다. 이러한 키패드(220)는 사용자에 의해 특정키가 눌릴 경우 숫자, 기호 및 문자 등의 입력을 지시하는 키신호 또는 물체를 제어하기 위한 메뉴키 신호를 발생시켜 마이크로 프로세서(260)로 전달하는 역할을 수행한다.On the
메모리(230)는 휴대용 단말기(200)를 제어하기 위한 각종 구동프로그램과 사용자가 지시한 물체(400)를 제어하기 위한 원격제어 프로그램을 저장한다. 즉, 사용자가 키패드(220)의 메뉴키를 통해 실내의 소정 장소에 위치하는 텔레비전에 대한 온/오프 제어신호를 입력하면, 마이크로 프로세서(260)는 메모리(230)에 저장된 원격제어 프로그램을 활성화시켜 텔레비전의 온/오프 제어를 수행하게 되는 것이다.The
또한, 메모리(230)는 휴대용 단말기(200)가 지시하는 소정 물체(400)의 위치정보와 연계되어 설정된 속성정보와 각종 지리정보를 저장하고 있다. In addition, the
센서부(240)는 휴대용 단말기(200)에 내장되어 사용자 및 해당 사용자가 지시한 소정 물체(400)에 대한 위치 좌표값을 감지하는 역할을 수행하는 것으로서, 도 3에 도시된 바와 같이, 방위각 센서(241), 방위 센서(242) 및 거리 센서(243)를 포함하여 구성되어 있다.The
여기서, 방위각 센서(241)는 사용자가 소정 방향에 위치하는 물체(400)를 지시함에 따라 발생하는 휴대용 단말기(200)의 기울기를 감지하여 해당 사용자가 지시하는 방향에 대한 상대적인 방위각을 측정하는 역할을 수행한다.Here, the azimuth sensor 241 detects the inclination of the
여기서, 방위각 센서(241)는 자이로 센서가 주로 이용되나, 여기에 한정되는 것은 아니며 기울기를 측정할 수 있는 다양한 종류의 센서가 이용될 수 있는 것으로 해석되는 것이 바람직하다.Here, the azimuth sensor 241 is mainly used as a gyro sensor, but is not limited thereto, and it is preferable that various types of sensors capable of measuring tilt may be interpreted.
방위 센서(242)는 사용자가 소정 방향에 위치하는 물체를 지시함에 따라 발생하는 휴대용 단말기(200)의 방위를 측정하여 해당 휴대용 단말기(200)에 대한 절대적인 방위를 측정한다.The orientation sensor 242 measures the orientation of the
이후, 방위 센서(242)는 측정된 방위를 참조하여 방위각 센서(241)에 의해 측정된 휴대용 단말기(200)의 상대적인 방위각을 절대적인 방위각으로 보정함으로써, 해당 휴대용 단말기(200)가 지적한 방향에 위치하는 물체(400)의 위치 좌표값 을 검출하는 역할을 수행한다.Subsequently, the azimuth sensor 242 corrects a relative azimuth of the
여기서, 방위 센서(242)는 컴퍼스 센서가 주로 이용되나, 여기에 한정되는 것은 아니며 방위를 측정할 수 있는 다양한 종류의 센서가 이용될 수 있는 것으로 해석되는 것이 바람직하다.Here, the compass sensor 242 is mainly used as a compass sensor, but is not limited thereto, and it is preferable that various kinds of sensors capable of measuring azimuth may be interpreted.
거리 센서(243)는 사용자가 위치하는 3차원 공간의 소정 위치 3차원 공간을 구성하는 X축, Y축 및 Z축과의 이격된 거리를 측정함으로써 해당 사용자의 위치 좌표값을 검출하는 역할을 수행한다. The distance sensor 243 detects the position coordinate value of the user by measuring a distance from the X-axis, the Y-axis, and the Z-axis constituting a three-dimensional space at a predetermined position in the three-dimensional space where the user is located. do.
여기서, 거리 센서(243)로는 초음파 센서가 주로 이용되나, 여기에 한정되는 것은 아니며 거리를 측정할 수 있는 다양한 종류의 센서가 이용될 수 있는 것으로 해석되는 것이 바람직하다.Here, the ultrasonic sensor is mainly used as the distance sensor 243, but is not limited thereto, and it is preferable that various kinds of sensors capable of measuring the distance may be interpreted.
이때, 센서부(240)에는 휴대용 단말기(200)를 소지하는 사용자가 실외 공간에 위치시에 해당 사용자의 위치 데이터를 파악하기 위해 이용되는 GPS센서(244)를 더 포함하여 구성될 수도 있다.In this case, the
A/D 변환부(250)는 센서부(240)로부터 입력되는 아날로그 형태의 사용자 및 물체의 위치 좌표값을 디지털 형태의 위치 좌표값으로 변환한 후, 변환된 위치 좌표값을 마이크로 프로세서(260)로 전달하는 역할을 수행한다.The A /
마이크로프로세서(260)는 A/D 변환부(250)로부터 전달되는 사용자 및 물체의 위치 좌표값을 네트워크 통신망(100)과 통신 접속된 통신인터페이스(210)를 개재하여 정보 제공 서버(300)로 전송한다.The
이때, 사용자 및 물체의 위치 좌표값에 연동하여 정보 제공 서버로부터 해당 물체(400)에 대한 속성정보가 입력되면, 마이크로프로세서(260)는 해당 물체(400)에 대한 속성정보를 표시부(270)상에 출력시킨 후 출력된 속성정보에 연동하여 사용자가 입력한 소정의 제어명령을 네트워크 통신망(100)을 통해 정보 제공 서버(300)로 전송한다.In this case, when the attribute information of the
이후, 정보 제공 서버(300)로부터 사용자가 입력한 제어명령에 연동하여 제어된 해당 물체(400)의 상태정보가 전송되면, 마이크로프로세서(260)는 정보 제공 서버(300)로부터 입력된 해당 물체(400)에 대한 상태정보를 표시부(270)상에 출력시킨다.Thereafter, when the state information of the
표시부(270)는 사용자가 지시한 소정 물체(400)에 대한 속성정보, 예를 들면 휴대용 단말기(200)에 의해 지시된 가전제품 종류 등과 같은 속성정보를 마이크로프로세서(260)로부터 전달받아 이를 출력시키는 역할을 수행한다.The
또한, 표시부(270)는 사용자가 입력한 제어명령에 연동하여 소정 형태로 제어된 해당 물체(400)의 상태정보, 예를 들면 휴대용 단말기(200)에 의해 지시된 물체가 가전제품인 경우 해당 가전제품에 대한 온/오프, 채널선택 및 볼륨조절 등의 상태정보를 마이크로프로세서(260)로부터 전달받아 이를 출력시키는 역할을 수행한다.In addition, the
이때, 표시부(270)로는 LCD 디스플레이, 터치스크린 등이 주로 사용되나, 이에 한정되는 것은 아니고 다양한 형태의 디스플레이장치가 이용될 수 있다고 해석되는 것이 바람직하다.In this case, an LCD display, a touch screen, and the like are mainly used as the
정보 제공 서버(300)는 휴대용 단말기(200)로부터 사용자 및 해당 사용자가 지시한 물체의 위치 좌표값이 입력됨에 따라 쿼드트리 방식을 제공하는 소정의 위치인식 프로그램을 구동시켜 해당 물체에 대한 위치정보를 산출한다. The
이후, 정보 제공 서버(300)는 산출된 위치정보를 참조하여 해당 위치정보에 설정된 물체(400)의 속성정보를 독출한 후 네트워크 통신망(100)을 통해 휴대용 단말기(200)로 전송한다.Thereafter, the
정보 제공 서버(300)는, 휴대용 단말기(200)로부터 속성정보를 참조하여 사용자가 입력한 소정의 제어명령이 입력됨에 따라 입력된 제어 명령에 연동하여 해당 물체(400)에 대한 제어를 수행한다. The
즉, 휴대용 단말기(200)로부터 입력되는 제어명령이 해당 물체(400), 예를 들면 텔레비전의 온/오프에 대한 제어명령인 경우, 정보 제공 서버(300)는 입력된 제어명령에 연동하여 텔레비전의 온/오프를 수행하는 것이다.That is, when the control command input from the
이후, 정보 제공 서버(300)는 사용자가 입력한 제어명령에 따라 소정 형태로 제어된 해당 물체(400)의 상태정보를 네트워크 통신망(100)을 통해 휴대용 단말기(200)로 전송한다.Thereafter, the
도 4를 참조하여 상술한 바와 같은 역할을 수행하는 정보 제공 서버(300)의 내부 구성 및 동작을 설명하면 다음과 같다.The internal configuration and operation of the
본 발명에 따른 정보 제공 서버(300)는 휴대용 단말기(200)가 지시한 소정 물체의 위치정보를 산출하여 해당 물체를 인식한 후 소정의 제어명령에 연동하여 인식된 물체에 대한 제어를 수행하는 것으로서, 도 4에 도시된 바와 같이, 통신인터페이스(310), 데이터베이스(320), 위치정보 산출부(330) 및 데이터 처리부(340) 를 포함하여 구성되어 있다.The
여기서, 통신인터페이스(310)는 네트워크 통신망(100)을 통해 휴대용 단말기(200)와 데이터 송수신을 수행하는 것으로서, Wifi, 블루투스 등의 무선 통신 프로토콜 또는 CDMA, GSM, TDMA 등과 같은 전화용 통신 프로토콜을 이용하여 휴대용 단말기(200)와의 데이터 통신을 수행한다.Here, the
데이터베이스(320)는 휴대용 단말기(200)가 지시한 소정 방향에 위치하는 각종 물체(400)의 위치정보에 연계되어 설정된 소정의 속성정보, 예를 들면 텔레비전, 오디오, 세탁기 등의 가전제품에 대한 종류 등의 속성정보를 저장한다.The
또한, 데이터베이스(320)는 휴대용 단말기(200)로부터 전송되는 사용자 및 물체의 위치 좌표값을 매개변수로 이용하여 해당 물체의 위치정보를 산출하는 소정의 위치인식 프로그램, 보다 구체적으로는 쿼드트리 방식을 통해 위치정보를 산출하는 위치인식 프로그램을 저장한다.In addition, the
또한, 데이터베이스(320)는 휴대용 단말기(200)로부터 입력된 제어명령에 연동하여 소정 형태로 제어된 해당 물체(400)의 상태정보를 데이터 처리부(340)로부터 전달받은 후, 해당 물체(400)에 대한 상태정보를 물체(400)별로 분류 및 저장한다.In addition, the
위치정보 산출부(330)는, 휴대용 단말기(200)로부터 사용자 및 해당 사용자가 지시한 물체(400)의 위치 좌표값이 입력됨에 따라, 데이터베이스(320)에 설정된 소정의 위치 인식 프로그램을 통해 해당 물체(400)에 대한 위치정보를 산출한다.As the
즉, 위치정보 산출부(330)는 도 5에 도시된 바와 같이 휴대용 단말기(200)로 부터 입력되는 위치 좌표값을 매개변수로 하는 쿼드트리 방식에 의해 해당 물체(400)에 대한 위치정보를 산출하는 것이다.That is, the
이를 보다 구체적으로 설명하면, 휴대용 단말기(200)로부터 3차원 공간에 위치하는 사용자의 위치 좌표값과 해당 사용자가 지시한 물체(400)의 위치 좌표값이 입력되면, 위치정보 산출부(330)는 도 5a에 도시된 바와 같이 데이터베이스(320)에 저장된 소정의 위치인식 프로그램을 구동시켜 해당 위치 좌표값을 2차원의 가상 평면상에 투영시킨다.In more detail, when the position coordinate value of the user located in the three-dimensional space and the position coordinate value of the
상술한 바와 같이 사용자 및 물체의 위치 좌표값을 2차원의 가상 평면상에 투영시킨 후, 위치정보 산출부(330)는 도 5b에 도시된 바와 같이 2차원의 가상 평면을 표현할 수 있는 최소 길이를 갖는 격자(grid) 형태로 변환시키고, 사용자 및 물체의 위치 좌표값을 2차원의 가상 평면상에 형성된 소정의 격자 위치로 일체화시킨다.As described above, after projecting the position coordinate values of the user and the object on the two-dimensional virtual plane, the position
여기서, 2차원의 가상평면은 0,1,2,3 영역으로 4분할되어 있고, 2 영역은 20, 21, 22 및 230, 231, 232, 233 영역으로 분할된 23 영역으로 재분할되어 있고, 3영역은 30,31,32 및 33 영역으로 재분할되어 있다.Here, the two-dimensional virtual plane is divided into four regions of 0, 1, 2, and 3 regions, and the two regions are subdivided into 23 regions divided into 20, 21, 22 and 230, 231, 232, and 233 regions, and 3 The area is subdivided into 30, 31, 32 and 33 areas.
이때, 사용자의 위치는 231 영역으로 일체화되어 있고, 사용자가 지시한 물체는 33 영역에 일체화되어 있다.At this time, the position of the user is integrated into the
이후, 위치정보 산출부(330)는 사용자 및 물체의 위치 좌표값을 소정의 공간 좌표값으로 표현하기 위해 2차원의 가상 평면에 대한 공간 코딩을 수행하고, 이에 의해 사용자 및 물체의 위치 좌표값을 공간 좌표값으로 표현한다.Thereafter, the position
이때, 사용자의 공간 좌표값은 (1,23,231)로 나타낼 수 있으며, 사용자의 공간 좌표값은 (3,33,R)로 나타낼 수 있으며, 여기서 R은 231 영역이 해당 물체로 채워져 있다는 것을 나타낸다.In this case, the spatial coordinate value of the user may be represented by (1,23,231), and the spatial coordinate value of the user may be represented by (3,33, R), where R represents that the
상술한 바와 같이 사용자 및 물체의 위치 좌표값을 공간 좌표값으로 표현한 후, 위치정보 산출부(330)는 도 5c 및 도 5d에 도시된 바와 같이 사용자 및 물체에 표현된 소정의 공간 좌표값을 매개 변수로 하는 쿼드트리 방식을 통해 해당 사용자 및 물체의 위치정보를 산출한다.After the position coordinate values of the user and the object are expressed as the spatial coordinate values as described above, the position
상술한 바와 같이 휴대용 단말기(200)로부터 입력되는 사용자 및 물체의 위치 좌표값을 매개변수로 하는 쿼드트리 방식을 통해 해당 물체에 대한 위치정보를 산출한 후, 위치정보 산출부(330)는 쿼드트리 방식을 통해 산출된 사용자 및 물체(400)의 위치정보를 데이터 처리부(340)로 전달한다.As described above, after calculating the position information of the corresponding object through the quadtree method using the position coordinate values of the user and the object input from the
데이터 처리부(340)는, 위치정보 산출부(330)로부터 사용자 및 물체에 대한 위치정보가 입력됨에 따라, 데이터베이스(320)를 검색하여 해당 위치정보에 설정된 소정의 속성정보를 독출한 후 네트워크 통신망(100)을 통해 휴대용 단말기(200)로 전송시킨다.As the location information of the user and the object is input from the
이때. 휴대용 단말기(200)로부터 물체의 속성정보에 연동하여 소정의 제어명령, 예를 들면 가전제품에 대한 온/오프, 채널변경, 음향조절 등의 제어명령이 전송되면, 데이터 처리부(340)는 입력된 제어 명령에 따라 해당 물체(400)에 대한 제어를 수행한다.At this time. When a predetermined control command is transmitted from the
이후, 데이터 처리부(340)는 제어 명령에 따라 소정 형태로 제어된 해당 물 체(400)의 상태정보를 네트워크 통신망(100)을 통해 휴대용 단말기(200)로 전송함으로써, 사용자가 휴대용 단말기를 통해 지적한 물체에 대한 제어를 수행할 수 있게 되는 것이다.Thereafter, the
이하, 도 6 내지 도 10을 참조하여 본 발명에 따른 휴대용 단말기를 이용한 물체 인식 방법에 대하여 상세하게 설명한다.Hereinafter, an object recognition method using a portable terminal according to the present invention will be described in detail with reference to FIGS. 6 to 10.
여기서, 도 6은 본 발명에 따른 휴대용 단말기를 이용한 물체 인식 과정을 도시한 순서도이고, 도 7은 본 발명에 따른 휴대용 단말기가 지시한 소정 물체의 위치 좌표값을 감지하는 과정을 도시한 순서도이고, 도 8은 본 발명에 따른 정보 제공 서버에서 쿼드트리 방식을 통해 휴대용 단말기가 지시한 소정 물체의 위치정보를 산출하는 과정을 도시한 순서도이고, 도 9는 본 발명에 따른 정보 제공 서버에서 산출된 위치정보에 연계된 속성정보를 독출하여 사용자 단말기로 전송하는 과정을 도시한 순서도이고, 도 10은 본 발명에 따른 정보 제공 서버에서 휴대용 단말기로부터 입력되는 제어명령에 따라 소정 물체에 대한 제어를 수행하는 과정을 도시한 순서도이다.6 is a flowchart illustrating an object recognition process using a portable terminal according to the present invention, FIG. 7 is a flowchart illustrating a process of detecting a position coordinate value of a predetermined object indicated by the portable terminal according to the present invention. 8 is a flowchart illustrating a process of calculating position information of a predetermined object indicated by a portable terminal through a quadtree method in an information providing server according to the present invention, and FIG. 9 is a position calculated by an information providing server according to the present invention. 10 is a flowchart illustrating a process of reading attribute information associated with the information and transmitting the same to the user terminal, and FIG. 10 is a process of controlling a predetermined object according to a control command input from a portable terminal in an information providing server according to the present invention. Is a flow chart illustrating.
먼저, 휴대용 단말기는, 도 6에 도시된 바와 같이, 센서부를 통해 사용자의 위치 좌표값과 해당 사용자에 의해 지시된 소정 물체에 대한 위치 좌표값을 검출한다(S100).First, as illustrated in FIG. 6, the portable terminal detects a position coordinate value of a user and a position coordinate value of a predetermined object indicated by the user through the sensor unit (S100).
도 7을 참조하여 보다 구체적으로 설명하면, 사용자에 의해 지시된 소정 물체(400)의 위치 좌표값을 검출하기 위한 초기모드 설정용 키신호가 입력되면(S101), 휴대용 단말기(200)는 입력된 키신호에 연동하여 소정 물체(400)에 대한 위치 좌표값을 검출하기 위한 초기모드를 설정한다(S102).More specifically, referring to FIG. 7, when a key signal for initial mode setting for detecting the position coordinate value of the
이후, 사용자가 소정 방향에 위치하는 물체(400)를 지시함에 따라(S103), 휴대용 단말기(200)는 각종 센서로 구성된 센서부(240)를 통해 사용자 및 지시된 물체의 위치 좌표값을 검출한 후(S104), 검출된 위치 좌표값을 네트워크 통신망(100)을 통해 정보 제공 서버(300)로 전송한다(S105). Then, as the user instructs the
여기서, 휴대용 단말기(200)에 내장된 센서부(240)는 휴대용 단말기(200)의 기울기를 감지하여 소정 방향에 대한 상대적인 방위각을 측정하는 방위각 센서(241), 휴대용 단말기(200)의 절대적인 방위를 측정하는 방위 센서(242) 및 사용자가 위치하는 3차원 공간을 구성하는 X축, Y축 및 Z축과의 이격 거리를 측정하여 해당 사용자의 위치 좌표값을 검출하는 거리센서(243)를 포함하여 구성되어 있다.Here, the
이때, 센서부(240)에는 휴대용 단말기(200)를 소지하는 사용자가 실외 공간에 위치시에 해당 사용자의 위치 데이터를 파악시에 이용되는 GPS센서(244)를 더 포함하여 구성될 수 도 있다. In this case, the
상술한 바와 같이 휴대용 단말기(200)에 내장된 센서부(240)에 의해 검출된 사용자 및 물체에 대한 위치 좌표값이 입력되면, 도 6에 도시된 바와 같이, 정보 제공 서버(300)는 데이터베이스(320)에 저장된 위치인식 프로그램을 구동시켜 해당 물체에 대한 위치정보를 산출한다(S200).As described above, when the position coordinate values of the user and the object detected by the
도 8을 참조하여 보다 구체적으로 설명하면, 휴대용 단말기(200)로부터 소정 물체(400)에 대한 위치 좌표값이 입력됨에 따라, 정보 제공 서버(300)는 소정의 위치인식 프로그램을 구동시켜 해당 물체(400)의 위치 좌표값을 2차원의 가상 평면상 에 투영시킨다(S201).More specifically, referring to FIG. 8, as the position coordinate value of the
이후, 정보 제공 서버(300)는 2차원의 가상 평면을 표현할 수 있는 최소 길이를 갖는 격자(grid) 형태로 변환시킨 후(S202), 해당 물체(400)의 위치 좌표값을 2차원의 가상 평면상에 형성된 소정의 격자 위치에 대응시킨다(S203).Thereafter, the
상술한 바와 같이 해당 물체(400)의 위치 좌표값을 2차원의 가상 평면상에 형성된 소정의 격자 위치에 대응시킨 후, 정보 제공 서버(300)는 2차원의 가상 평면에 대한 공간 코딩을 수행하고(S204), 공간 코딩을 통해 해당 물체(400)의 위치 좌표값을 공간 좌표값으로 표현한다(S205).As described above, after the position coordinate value of the
이후, 정보 제공 서버(300)는 해당 물체(400)의 공간 좌표값을 매개 변수로 하는 쿼드트리 방식을 통해 물체(400)의 위치정보를 산출한다(S206).Thereafter, the
상술한 바와 같이 해당 물체에 대한 위치정보를 산출한 후, 정보 제공 서버(300)는 도 6에 도시된 바와 같이 산출된 위치정보를 참조하여 해당 물체(400)에 대한 속성정보를 독출한 후 이를 휴대용 단말기(200)로 전송한다(S300).After calculating the position information on the object as described above, the
도 9를 참조하여 보다 구체적으로 설명하면, 휴대용 단말기(200)가 지시한 방향에 위치하는 소정 물체(400)에 대한 위치정보를 산출한 후, 정보 제공 서버(300)는 산출된 위치정보에 해당 물체의 속성정보가 설정되어 있는지 여부를 판단하기 위해 데이터베이스(320)를 검색한 후(S301), 검색 결과를 참조하여 하여 해당 물체(400)에 대한 속성정보가 설정되어 있는지 여부를 판단한다(S302).9, the
단계(S302)의 판단 결과 해당 물체(400)에 대한 속성정보가 설정되어 있지 않으면, 정보 제공 서버(300)는 휴대용 단말기(200)로 해당 물체(400)에 대한 속성 정보가 설정되어 있지 않다는 에러 메시지를 전송한다(S303).If it is determined in step S302 that the attribute information for the
그러나, 단계(S302)의 판단 결과 해당 물체(400)에 대한 속성정보가 설정되어 있으면, 정보 제공 서버(300)는 데이터베이스(320)에 설정된 해당 물체(400)의 속성정보를 독출하여 휴대용 단말기(200)로 전송한다(S304).However, if it is determined in step S302 that the attribute information of the
여기서, 속성정보는 휴대용 단말기(200)에 의해 지시된 물체(400), 보다 구체적으로는 실내에 위치하는 텔레비전, 오디오, 세탁기 등의 가전제품 또는 실외에 위치하는 건물에 대한 건물명, 용도, 해당 건물에서 제공되는 서비스 종류 등의 건물정보 등을 포함한다.Here, the attribute information is a building name, use, and corresponding building of an
상술한 바와 같이 해당 물체에 대한 속성정보를 휴대용 단말기(200)로 전송한 후, 정보 제공 서버(300)는 도 6에 도시된 바와 같이 속성정보에 연동하여 휴대용 단말기(200)로부터 입력되는 제어명령에 따라 해당 물체(400)를 제어한다 (S400).As described above, after transmitting the attribute information of the object to the
도 10을 참조하여 보다 구체적으로 설명하면, 휴대용 단말기(200)로부터 속성정보에 연동하여 소정의 제어명령, 예를 들면 가전제품에 대한 온/오프, 채널변경, 음향조절 등의 제어명령이 전송되면(S401), 정보 제공 서버(300)는 휴대용 단말기(200)로부터 입력된 제어 명령에 연동하여 해당 물체(400)에 대한 제어를 수행한다(S402).More specifically, referring to FIG. 10, when a predetermined control command, for example, a control command such as on / off, channel change, or sound control for a home appliance is transmitted from the
이후, 정보 제공 서버는 휴대용 단말기(200)로부터 입력된 제어 명령에 따라 소정 형태로 제어된 해당 물체(400)의 상태정보를 네트워크 통신망(100)을 통해 휴대용 단말기(200)로 전송한다(S403).Thereafter, the information providing server transmits the state information of the
본 발명의 기술사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술분야의 통상의 전문가라면 본 발명의 기술사상의 범위에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.Although the technical spirit of the present invention has been described in detail according to the above-described preferred embodiment, it should be noted that the above-described embodiment is for the purpose of description and not of limitation. In addition, those skilled in the art will understand that various embodiments are possible within the scope of the technical idea of the present invention.
이상에서 설명한 바와 같이, 본 발명은 휴대용 단말기에 내장된 센서를 통해 사용자가 지시한 물체의 위치정보를 감지하여 해당 물체에 대한 동작을 제어함으로써, 소정 물체의 위치정보를 측정하기 위한 다수의 위치 측정용 센서를 설치할 필요없이 해당 물체에 대한 위치정보를 용이하게 추출하여 제어할 수 있다는 효과를 제공한다. As described above, the present invention detects the location information of an object instructed by a user through a sensor built in the portable terminal and controls the operation of the corresponding object, thereby measuring a plurality of locations for measuring the location information of the predetermined object. It provides the effect that the location information of the object can be easily extracted and controlled without the need for installing the sensor.
Claims (15)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20050035652A KR100702808B1 (en) | 2005-04-28 | 2005-04-28 | System and method for recognizing object using mobile phone |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20050035652A KR100702808B1 (en) | 2005-04-28 | 2005-04-28 | System and method for recognizing object using mobile phone |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20060112922A true KR20060112922A (en) | 2006-11-02 |
KR100702808B1 KR100702808B1 (en) | 2007-04-03 |
Family
ID=37651365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR20050035652A KR100702808B1 (en) | 2005-04-28 | 2005-04-28 | System and method for recognizing object using mobile phone |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100702808B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100841712B1 (en) * | 2007-03-07 | 2008-06-26 | 한국과학기술원 | Indoor navigation system for static and dynamic objects based on magnetic sensor and wireless signal strength |
KR20110026573A (en) * | 2009-09-08 | 2011-03-16 | 삼성전자주식회사 | Apparatus and method for interaction between perceptive display unit and portable terminal |
CN106022197A (en) * | 2016-07-05 | 2016-10-12 | 纷美(北京)贸易有限公司 | System and method for preventing false trigger of recognizer on product production line |
KR20210122462A (en) * | 2020-04-01 | 2021-10-12 | 삼육대학교산학협력단 | Device and method of searching objects based on quad tree |
-
2005
- 2005-04-28 KR KR20050035652A patent/KR100702808B1/en not_active IP Right Cessation
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100841712B1 (en) * | 2007-03-07 | 2008-06-26 | 한국과학기술원 | Indoor navigation system for static and dynamic objects based on magnetic sensor and wireless signal strength |
KR20110026573A (en) * | 2009-09-08 | 2011-03-16 | 삼성전자주식회사 | Apparatus and method for interaction between perceptive display unit and portable terminal |
CN106022197A (en) * | 2016-07-05 | 2016-10-12 | 纷美(北京)贸易有限公司 | System and method for preventing false trigger of recognizer on product production line |
KR20210122462A (en) * | 2020-04-01 | 2021-10-12 | 삼육대학교산학협력단 | Device and method of searching objects based on quad tree |
Also Published As
Publication number | Publication date |
---|---|
KR100702808B1 (en) | 2007-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107229231B (en) | Household equipment management method and device | |
CN102354269B (en) | Method and system for controlling display device | |
US9304970B2 (en) | Extended fingerprint generation | |
KR102071575B1 (en) | Moving robot, user terminal apparatus, and control method thereof | |
US10235874B2 (en) | Remote control system, remote control method and gateway | |
EP2802124B1 (en) | Method and system for file transfer, and main control device | |
KR100367257B1 (en) | Position finder, measuring apparatus with position finder, and measuring system | |
US9170113B2 (en) | System and method for mapping an indoor environment | |
JP3721164B2 (en) | Device network with selectable targets | |
US20070121096A1 (en) | Method and device for ensuring interaction between a distance meter and a surveying application | |
CN107943489B (en) | Data sharing method and mobile terminal | |
TWI581641B (en) | Electrical appliances controlling system and method | |
US20110136544A1 (en) | Portable electronic device with data transmission function and data transmission method thereof | |
KR100702808B1 (en) | System and method for recognizing object using mobile phone | |
EP2451122A2 (en) | Mobile device and control method thereof | |
CN108917766B (en) | Navigation method and mobile terminal | |
KR20120053420A (en) | System and method for controlling device | |
KR20210045040A (en) | Object recognition control system and method using a mobile terminal | |
KR100677705B1 (en) | Method and apparatus of measuring a position with a portable terminal | |
EP2600629B1 (en) | Handheld electronic device and remote control method | |
CN109582200B (en) | Navigation information display method and mobile terminal | |
WO2014005435A1 (en) | Electronic device and remote control method therefor | |
EP4318428A1 (en) | Remote control system and method utilizing uwb | |
US20230247096A1 (en) | Apparatuses, computer-implemented methods, and computer program products for network-centric augmented reality processing | |
KR20160104920A (en) | Location Chase System for searching a Remocon and Drive Method of the Same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
N231 | Notification of change of applicant | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20120228 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20120806 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20150217 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20160318 Year of fee payment: 10 |
|
LAPS | Lapse due to unpaid annual fee |