KR20050080569A - 이동단말기의 텍스트 영상 전송방법 - Google Patents

이동단말기의 텍스트 영상 전송방법 Download PDF

Info

Publication number
KR20050080569A
KR20050080569A KR1020040008628A KR20040008628A KR20050080569A KR 20050080569 A KR20050080569 A KR 20050080569A KR 1020040008628 A KR1020040008628 A KR 1020040008628A KR 20040008628 A KR20040008628 A KR 20040008628A KR 20050080569 A KR20050080569 A KR 20050080569A
Authority
KR
South Korea
Prior art keywords
information
ratio
hypertext
mobile terminal
image
Prior art date
Application number
KR1020040008628A
Other languages
English (en)
Other versions
KR101058673B1 (ko
Inventor
박준구
성상경
김주영
박재운
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020040008628A priority Critical patent/KR101058673B1/ko
Publication of KR20050080569A publication Critical patent/KR20050080569A/ko
Application granted granted Critical
Publication of KR101058673B1 publication Critical patent/KR101058673B1/ko

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B26HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26BHAND-HELD CUTTING TOOLS NOT OTHERWISE PROVIDED FOR
    • B26B11/00Hand knives combined with other implements, e.g. with corkscrew, with scissors, with writing implement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B26HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26BHAND-HELD CUTTING TOOLS NOT OTHERWISE PROVIDED FOR
    • B26B5/00Hand knives with one or more detachable blades
    • B26B5/001Hand knives with one or more detachable blades with blades being slid out of handle immediately prior to use
    • B26B5/002Hand knives with one or more detachable blades with blades being slid out of handle immediately prior to use segmented blades

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Forests & Forestry (AREA)
  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Telephonic Communication Services (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

이동단말기의 텍스트 영상 전송방법에 있어서, 화상정보가 입력되면 사용자에 의해 인식기능이 채택되었는지 여부를 체크하는 제1과정과, 상기 인식기능이 채택된 것으로 판단되면, 수신측 단말기에서 하이퍼 텍스트 정보를 재구성 할 때 문자나 심볼의 상대 크기를 결정하는 데 필요한 비율정보를 결정하고, 상기 입력된 화상정보를 인식하여 하이퍼 텍스트 정보로 코드화 하는 제2과정과, 상기 비율정보와 하이퍼 텍스트 정보를 메모리에 저장하는 제3과정과, 상기 인식 기능이 채택되지 않았거나 상기 비율정보 및 하이퍼텍스트 정보를 저장한 후, 상기 비율정보 및 하이퍼텍스트 정보가 포함된 메시지를 송신하는 제4과정으로 이루어짐을 특징으로 한다.

Description

이동단말기의 텍스트 영상 전송방법{Text image transmission method for mobile terminal supporting object recognition}
본 발명은 이동단말기의 영상 전송 장치 및 방법에 관한 것으로, 특히 카메라가 장착된 이동단말기에서 텍스트 영상을 전송하는 장치 및 방법에 관한 것이다.
이동통신 기술의 발달로 이동단말기가 지원하는 미디어의 종류는 음성, 단문 메시지, 그리고 멀티미디어 메시지 등으로 다양화 되었다. 이와 같이 지원 가능한 미디어의 다양성은 이동통신 사용자 수의 확대를 가능하게 하고 이동통신에 기반한 새로운 네트워킹 양식을 만들어 내고 있다. 최근에 카메라 폰(phone) 사용자 수의 급격한 확대 양상이 실제적 한 예라 할 수 있다.
카메라가 탑재된 멀티미디어 지원 이동단말기가 보편화 되는 추세를 이용하여 멀티미디어 전송 기반 응용 서비스도 확대되는 추세에 있다, 그러나 편리하게 화상을 주고받을 수 있는 멀티미디어 송수신 서비스는 고용량의 데이터를 보내고 수신하는 관계로 무선망 사용요금이 사용자에게 부담이 되는 상황이다. 이를 극복하기 위하여 고효율 화상 압축 기술 등이 고려되고 있지만 이 또한 확실한 답을 제공하고 있지는 않다. 이러한 상황이 지속되면 멀티미디어 전송 서비스의 지속적 확대는 어려울 것이다.
휴대폰에 장착된 카메라로 대상체(예: 문서)를 촬영하여 상대방에게 전송하는 경우 해당 정보는 고용량의 멀티미디어 파일 형태(이하 멀티미디어 패킷이라 함.)로 전송된다. 이와 같은 멀티미디어 패킷의 전송이 가능하게 된 것은 이동단말기의 제한된 메모리 용량을 고려하고, 데이터 관리를 원활히 하면서 무선망을 통한 전송시 해당 대상체 정보를 싸고 빠르게 전송 할 수 있도록, 고도의 압축 기술을 이용하여 대상 파일을 관리하기 때문이다. 멀티미디어 패킷을 수신한 이동단말기는 파일 형태로 지속적인 관리를 하면서 전용 뷰어를 이용하여 수신한 멀티미디어 패킷을 시현하기도 한다.
그런데 이처럼 압축된 멀티미디어 파일 형태로 고용량 정보를 주고받는 방법은 스틸 사진과 같은 단일 파일을 전송 할 경우에도 상당량의 망 사용료가 발생될 수 있고, 전송 지연에 따른 불편이 초래된다. 다시 말해서, 멀티미디어의 패킷 용량에 따라서는 개별 사용자에게 과도한 망 사용료를 부가할 수 있고, 다수의 사용자가 동시에 멀티미디어 전송을 위한 다중 접속을 시도하는 경우 무선망에 과부하가 발생되어 신규 접속자에게는 망 접속 제한을, 기존 사용자에게는 통신 품질 열화를 유발할 수 있다. 또한 순방향 전송과 역방향 전송 사이에 존재하는 전송 속도의 차이는 대용량 미디어 전송이 실시간 요구되어지는 화상 통화 또는 무선 화상 강의 상황에서는 근본적 문제점으로 남게 된다.
따라서 본 발명의 목적은 이동단말기에서 텍스트 기반 화상정보를 전송하는 데 소요되는 비용을 줄이고 무선망 비대칭성에 따른 비효율성을 개선하기 위한 방법을 제공함에 있다.
상기한 목적을 달성하기 위한 본 발명은 이동단말기의 텍스트 영상 전송방법에 있어서, 화상정보가 입력되면 사용자에 의해 인식기능이 채택되었는지 여부를 체크하는 제1과정과, 상기 인식기능이 채택된 것으로 판단되면, 수신측 단말기에서 하이퍼 텍스트 정보를 재구성 할 때 문자나 심볼의 상대 크기를 결정하는 데 필요한 비율정보를 결정하고, 상기 입력된 화상정보를 인식하여 하이퍼 텍스트 정보로 코드화 하는 제2과정과, 상기 비율정보와 하이퍼 텍스트 정보를 메모리에 저장하는 제3과정과, 상기 인식 기능이 채택되지 않았거나 상기 비율정보 및 하이퍼텍스트 정보를 저장한 후, 상기 비율정보 및 하이퍼텍스트 정보가 포함된 메시지를 송신하는 제4과정으로 이루어짐을 특징으로 한다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 하기 설명에서는 구체적인 회로의 구성 소자 등과 같은 많은 특정(特定) 사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들 없이도 본 발명이 실시될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 카메라 장착형 이동단말기의 구성을 개략적으로 나타낸 블록도이다.
무선처리부(20)는 송신할 혹은 수신된 메시지를 처리한다.
음성처리부(30)는 마이크(31)를 통해 입력되는 사용자의 음성을 처리하여 제어부(70)로 전달하거나 무선처리부(20)를 통해 수신된 상대방 음성 등을 처리하여 스피커(32)로 전달한다.
화상처리부(80)는 장착된 카메라(36)를 통해 획득된 화상정보를 처리하여 제어부(70)로 전달한다.
메모리부(50)는 문자나 심볼 인식을 위한 인식 라이브러리(library)를 수용한다. 여기서 심볼이라 함은 현재 문서 작성시 자주 사용되고 있는 "템플리트(template) 상의 글머리표 부호" 등을 의미하며, 심볼 라이브러리라 함은 인용 빈도수가 높은 심볼을 위주로 해당 패턴을 데이터베이스로 만들어 놓은 것을 의미한다. 이러한 심볼 라이브러리를 이용하여 심볼 영상정보를 패턴 매칭 방식으로 인식한다. 문자와 심볼이 공존하는 대상체의 경우에는 심볼 인식을 위한 심볼 라이브러리 기능을 부여하여 카메라를 통해 얻어진 화상정보에 대한 인식률을 높여 코드 정보로의 변환율을 극대화시킨다. 또한 대상체 화상정보에 인식이 불가한 화상정보가 섞여 있는 경우에는 인식 불가한 화상 단위와 이웃하면서 인식 가능한 화상 단위 사이의 크기 비율정보를 추출하는 기능을 부여한다. 상기 정보는 여러 이유로 정상적 인식 과정이 진행되지 않아 코드화 되지 못한 화상정보와 인식 과정이 정상적으로 이루어져 코드화된 정보를 조합하여 출력 화면을 구성할 때 인식이 이루어진 코드 정보의 상대 크기를 결정하는 과정에서 활용된다.
표시부(60)는 이동단말기의 동작 상태, 화상정보 등을 표시한다.
키입력부(40)는 사용자가 다이얼링할 전화번호, 여러 가지 데이터, 혹은 명령 등을 입력하기 위한 수단이다.
도 2는 본 발명의 실시예에 따른 송신측 이동단말기의 구성을 나타낸 블록도이다.
송신측 이동단말기는 화상정보를 획득한 후 처리하는 작업을 수행한다. 이를 위해 하드웨어적인 변화는 필요치 않으며, 문자 및 심볼 인식 기능을 수행하기 위해 도 1의 제어부(70)는 도 2의 제어부(70t)와 같이 논리구조가 변경된다.
화상 처리부(80t)를 거쳐 제어부(70t)로 입력된 고용량 화상 정보는 심볼 화상정보와 문자 화상정보를 포함한다. 문자/심볼 비율 추출 모듈(M1)에서는 단위 심볼 화상 정보와 단위 문자 화상정보의 크기 비율을 추출한다. 크기 비율은 단위 화상 사이의 가로 비율, 세로 비율 또는 대각선 비율을 활용한다. 이전의 문자와 심볼의 상대 위치 정보는 초기 영상 정보에서 이미 반영되어 있다. 문제는 문자가 코드화 되어 자신이 가지고 있던 초기 크기 정보가 상실되므로 이에 대한 해법으로 심볼과의 상대 크기 정보를 이용하는 것이다. 크기 비율 정보를 추출한 후 화상 인식 단계를 진행한다. 화상인식은 문자인식모듈(M2)에 의한 문자 인식 후 심볼인식모듈(M3)에 의한 심볼 인식 또는 그 역순으로 진행한다. 상기 인식 과정을 거친 후 대상 정보는 인식으로 획득된 코드 정보와 인식이 이루어지지 않은 화상정보가 혼재하는 하이퍼(hyper) 정보 형태로 메모리부(50)에 저장되고 무선처리부(20t)를 거쳐서 전송된다.
도 3은 본 발명의 실시예에 따른 수신측 이동단말기의 구성을 나타낸 블록도이다.
본 발명의 실시예에 따르면, 수신측 이동단말기는 송신측 이동단말기가 보낸 메시지로부터 화상정보를 검출하여 표시하는 작업을 수행한다. 이를 위해 하드웨어적인 변화는 필요치 않으며, 도 1의 제어부(70)는 도 3의 제어부(70r)와 같이 논리구조가 변경된다.
무선처리부(20r)를 거쳐서 수신된 메시지는 제어부(70r)로 전달된다. 제어부(70r)의 비율정보검출모듈(M4)은 수신 메시지에 포함된 비율정보를 검출한다. 화상정보검출모듈(M5)은 수신 메시지에 포함된 화상정보를 검출한다. 코드정보 크기 조절 모듈(M6)은 상기 검출된 비율정보에 따라 코드 정보화된 문자나 심볼 정보의 실제 크기를 결정한다. 재구성된 화상정보와 문자 및 심볼 정보는 하이퍼 텍스트 형태로 메모리부(50r)에 저장된다. 또한 표시부(60r)는 상기 재구성된 화상정보를 화면에 표시한다. 무엇을 표시하는지? (화상정보가 표시되나? 문자 및 심볼 정보?)
도 4는 본 발명의 실시예에 따른 송신측 이동단말기에서 텍스트 영상을 송신하기 위한 방법을 나타낸 흐름도이다.
4a단계에서 제어부(70t)는 화상처리부(80t)를 거쳐 화상정보를 입력한다. 텍스트 기반 화상정보에 대해 인식 기능을 수행하게 되면 필체나 독자적 특성 정보는 상실하게 된다. 그러므로 사용자로 하여금 이에 대한 판단을 수행토록 해야 한다. 즉, 4b단계에서 제어부(70t)는 사용자에 의해 인식기능이 채택되었는지 여부를 체크한다. 상기 체크결과 인식기능이 채택된 것으로 판단되면, 4c단계에서 비율정보를 추출한다. 비율 정보는 수신측 단말기에서 하이퍼 텍스트 정보를 재구성 할 때 문자나 심볼의 상대 크기를 결정하는 데 필요한 것이다. 또한 비율정보는 단위 심볼 화상정보와 단위 문자 화상정보의 가로 비율, 세로 비율 또는 대각선 비율로 정의한다.
4d단계에서 제어부(70t)는 입력 화상정보를 대상으로 문자/심볼 인식을 수행한다. 인식이 정상적으로 이루어진 경우에는 대상 문자나 심볼 화상정보는 코드 정보화 되어 정보량을 획기적으로 줄일 수 있게 된다. 인식이 이루어지지 않은 화상정보는 그대로 존속된다. 그러므로 인식 작업을 수행한 후의 정보는 코드정보와 화상정보가 혼존 하는 하이퍼 텍스트 정보가 될 것이며, 전체적인 데이터 정보량은 줄게 된다.
4e단계에서 제어부(70t)는 비율정보와 하이퍼 텍스트 정보를 메모리부(50t)에 저장한다.
4b단계에서 인식 기능이 채택되지 않았거나 4e단계에서 비율정보 및 하이퍼텍스트 정보가 저장된 후, 4f단계에서 제어부(70t)는 무선처리부(20t)를 통해 비율정보 및 하이퍼텍스트 정보를 송신한다.
도 5는 본 발명의 실시예에 따른 수신측 이동단말기에서 텍스트 영상을 수신하기 위한 방법을 나타낸 흐름도이다.
5a단계에서 수신측 이동단말기의 제어부(70r)는 무선처리부(20r)를 통하여 비율 정보 및 하이퍼 텍스트가 포함된 메시지를 수신한다. 그리고 5b단계에서 하이퍼 텍스트 정보로부터 화상정보를 검출한다. 5c단계에서 상기 검출된 화상정보와 비율정보를 기반으로 재구성될 하이퍼 텍스트 속의 문자 크기를 결정한다. 수신측 이동단말기는 문자 크기 또는 심볼 크기를 결정하여 하이퍼 텍스트를 재구성 한다. 5d단계에서 재구성한 하이퍼 텍스트 정보를 메모리부(50r)의 하이퍼 텍스트 파일 저장 영역(A4)에 저장한다. 그리고 5e단계에서 상기 하이퍼 텍스트 정보를 표시부(60r)에 표시한다.
본 발명의 실시예에 따르면, 텍스트 기반의 문서를 이동단말기에 장착된 카메라로 촬영한 후 문자 및 심볼 인식 과정을 거치게 함으로써 고용량의 멀티미디어 데이터가 저용량의 코드(code) 데이터로 변환되게 한다. 이렇게 되면 망 사용료가 줄고, 수신측 이동단말기에서는 텍스트 파일(text file) 형태로 관리할 수도 있게 된다. 텍스트 파일 형태로 관리하게 된다는 실제적 의미는 공간적으로 멀리 떨어진 문서를 간편하게 전자문서 형태로 획득하고 가공할 수 있다는 것이다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안 되며 후술하는 특허청구의 범위뿐 만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
상술한 바와 같이 본 발명은 송신측 이동단말기에서 채용 가능한 인식 기술들(예: 음성, 문자 또는 심볼 인식 기능)을 이용하여 고용량의 멀티미디어 데이터를 저용량의 코드 데이터로 전환하여 전송함으로써 망 사용료를 적정한 수준으로 낮추고, 네크웍 리소스 고갈로 인한 망 접속 제한이나 통화 품질 열화와 같은 문제점들을 근본적으로 해결 할 수 있다. 또한 송신측 이동단말기에서 데이터 관리를 위한 저장시 상기와 같이 고용량의 멀티미디어 데이터를 저용량의 코드 데이터로 전환하여 저장하면 메모리 사용 효율을 높일 수 있는 장점도 있다.
도 1은 카메라 장착형 이동단말기의 구성을 개략적으로 나타낸 블록도
도 2는 본 발명의 실시예에 따른 송신측 이동단말기의 구성을 나타낸 블록도
도 3은 본 발명의 실시예에 따른 수신측 이동단말기의 구성을 나타낸 블록도
도 4는 본 발명의 실시예에 따른 송신측 이동단말기에서 텍스트 영상을 송신하기 위한 방법을 나타낸 흐름도
도 5는 본 발명의 실시예에 따른 수신측 이동단말기에서 텍스트 영상을 수신하기 위한 방법을 나타낸 흐름도

Claims (2)

  1. 이동단말기의 텍스트 영상 전송방법에 있어서,
    화상정보가 입력되면 사용자에 의해 인식기능이 채택되었는지 여부를 체크하는 제1과정과,
    상기 인식기능이 채택된 것으로 판단되면, 수신측 단말기에서 하이퍼 텍스트 정보를 재구성 할 때 문자나 심볼의 상대 크기를 결정하는 데 필요한 비율정보를 결정하고, 상기 입력된 화상정보를 인식하여 하이퍼 텍스트 정보로 코드화 하는 제2과정과,
    상기 비율정보와 하이퍼 텍스트 정보를 메모리에 저장하는 제3과정과,
    상기 인식 기능이 채택되지 않았거나 상기 비율정보 및 하이퍼텍스트 정보를 저장한 후, 상기 비율정보 및 하이퍼텍스트 정보가 포함된 메시지를 송신하는 제4과정으로 이루어짐을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 비율정보는 단위 심볼 화상정보와 단위 문자 화상정보의 가로 비율, 세로 비율 또는 대각선 비율로 정의됨을 특징으로 하는 방법.
KR1020040008628A 2004-02-10 2004-02-10 이동단말기의 텍스트 영상 전송방법 KR101058673B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040008628A KR101058673B1 (ko) 2004-02-10 2004-02-10 이동단말기의 텍스트 영상 전송방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040008628A KR101058673B1 (ko) 2004-02-10 2004-02-10 이동단말기의 텍스트 영상 전송방법

Publications (2)

Publication Number Publication Date
KR20050080569A true KR20050080569A (ko) 2005-08-17
KR101058673B1 KR101058673B1 (ko) 2011-08-22

Family

ID=37267352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040008628A KR101058673B1 (ko) 2004-02-10 2004-02-10 이동단말기의 텍스트 영상 전송방법

Country Status (1)

Country Link
KR (1) KR101058673B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100572207B1 (ko) * 2003-12-18 2006-04-19 주식회사 디지탈바이오테크놀러지 플라스틱 마이크로 칩의 접합 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998052356A1 (en) 1997-05-16 1998-11-19 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
CA2371998C (en) 1999-02-11 2006-01-24 British Telecommunications Public Limited Company Analysis of video signal quality
JP2001222451A (ja) 2000-02-08 2001-08-17 Matsushita Electric Ind Co Ltd マルチメディア情報管理装置及びその方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100572207B1 (ko) * 2003-12-18 2006-04-19 주식회사 디지탈바이오테크놀러지 플라스틱 마이크로 칩의 접합 방법

Also Published As

Publication number Publication date
KR101058673B1 (ko) 2011-08-22

Similar Documents

Publication Publication Date Title
EP2002675B1 (en) Method for controlling user interface menu and mobile terminal for providing application service using the same
JP3775346B2 (ja) テレビ電話システムおよびその端末装置
EP1796357A1 (en) Method and mobile terminal for transmitting and receiving messages
KR100663403B1 (ko) 멀티미디어 메시지 전송 방법 및 시스템
CN1835578A (zh) 用于在视频通信期间构成图像的方法和设备
CN101350870A (zh) 一种图文转换的方法、移动终端和ocr服务器
CN102447956A (zh) 手机视频分享的方法及系统
US7277115B2 (en) Communication terminal device capable of transmitting visage information
US8805451B2 (en) Portable terminal with QWERTY keypad and method for processing phone numbers in the portable terminal
KR101235483B1 (ko) 통신 장치 및 이미지 전송 방법
US8941713B2 (en) Video phone call method having function of adjusting resolution quality and video phone call apparatus supporting the same
US20070232286A1 (en) Apparatus and method for storing/calling telephone number in mobile terminal
US7006121B2 (en) Virtual terminal configuring method and device
KR101058673B1 (ko) 이동단말기의 텍스트 영상 전송방법
US8159970B2 (en) Method of transmitting image data in video telephone mode of a wireless terminal
KR100438540B1 (ko) 이동통신 단말기의 이미지 송수신 방법 및 시스템
KR100630165B1 (ko) 휴대단말기의 전화번호 검색방법
CN1291623C (zh) 用于在便携式终端中显示活动图像的设备及方法
US20070191039A1 (en) Method for replying to message in wireless portable terminal
CN101478395B (zh) 一种认证过程中的处理方法及一种手机
KR100724892B1 (ko) 휴대단말기에서 문자입력을 통한 통화수행 방법
KR100720075B1 (ko) 플래시 동영상을 이용한 동영상 이메일 서비스 방법
CN101383939B (zh) 用于影像电话的影音处理装置及其相关方法
KR20080047669A (ko) 프레임 레이트 제어용 이동 통신 단말기, 및 그 제어 방법
KR100605956B1 (ko) 휴대 단말기의 메시지 전송방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140730

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150730

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160728

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee