KR100358166B1 - 화상 휴대폰 장치 - Google Patents

화상 휴대폰 장치 Download PDF

Info

Publication number
KR100358166B1
KR100358166B1 KR1020000078554A KR20000078554A KR100358166B1 KR 100358166 B1 KR100358166 B1 KR 100358166B1 KR 1020000078554 A KR1020000078554 A KR 1020000078554A KR 20000078554 A KR20000078554 A KR 20000078554A KR 100358166 B1 KR100358166 B1 KR 100358166B1
Authority
KR
South Korea
Prior art keywords
video
image data
image
output
caller
Prior art date
Application number
KR1020000078554A
Other languages
English (en)
Other versions
KR20020049391A (ko
Inventor
이영태
Original Assignee
주식회사 팬택앤큐리텔
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택앤큐리텔 filed Critical 주식회사 팬택앤큐리텔
Priority to KR1020000078554A priority Critical patent/KR100358166B1/ko
Publication of KR20020049391A publication Critical patent/KR20020049391A/ko
Application granted granted Critical
Publication of KR100358166B1 publication Critical patent/KR100358166B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

본 발명은 2개의 디지털 카메라를 구비하고, 송신기에서는 하나의 디지털 카메라로는 통화자의 얼굴을 촬영하고, 다른 하나의 디지털 카메라로는 주변 영상을 촬영한 후 그 촬영된 영상들과 통화자의 음성을 다중화하여 전송하고, 수신기에서는 수신한 영상과 음성을 분리한 후 사용자의 선택적인 디스플레이 요구에 따라 영상을 디스플레이 하도록 한 화상 휴대폰 장치에 관한 것으로서, 이러한 본 발명에 의한 화상 휴대폰 장치는, 통화자의 영상을 촬영하여 디지털 영상 데이터로 출력하는 제1 디지털 카메라, 통화자 주위 환경을 촬영하여 디지털 영상 데이터로 출력하는 제2 디지털 카메라, 입력되는 영상 선택 신호에 따라 상기 제1 및 제2 디지털 카메라에서 각각 출력되는 영상을 선택적으로 출력하는 영상 데이터 선택기, 영상 데이터 선택기에서 출력되는 영상 데이터를 처리한 후 동영상 데이터를 프레임 단위로 출력하는 화상 데이터 처리부, 영상 데이터 선택기에 영상 선택 신호를 전달하고, 화상 데이터 처리부에서 출력되는 프레임 단위 동영상 데이터에 위치 정보를 할당한 후 음성 신호와 다중화하여 출력하는 메인 CPU, 메인 CPU에서 출력되는 디스플레이 제어신호에 따라 화상 데이터 처리부에서 출력되는 동영상을 선택적으로 디스플레이하는 디스플레이부를 구비한다.

Description

화상 휴대폰 장치{Image hand-phone}
본 발명은 화상 휴대폰에 관한 것으로, 특히 2개의 디지털 카메라를 구비하고, 송신기에서는 하나의 디지털 카메라로는 통화자의 얼굴을 촬영하고, 다른 하나의 디지털 카메라로는 주변 영상을 촬영한 후 그 촬영된 영상들과 통화자의 음성을 다중화하여 전송하고, 수신기에서는 수신한 영상과 음성을 분리한 후 사용자의 선택적인 디스플레이 요구에 따라 영상을 디스플레이 하도록 한 화상 휴대폰 장치에 관한 것이다.
일반적으로 휴대 전화기(셀룰라폰, PCS폰, IMT-2000 휴대폰 등)의 기술이 발달함에 따라 휴대폰에도 여러 가지 기능이 추가되고 있다.
현재 상용화되고 있는 휴대폰의 메인 CPU 전송 속도는 64Kbps이다. 이 경우 데이터 전송속도가 너무 낮아 동영상 전송은 어려운 실정이다.
한편, 현재 개발중인 휴대폰의 메인 CPU 데이터 전송속도는 144Kbps 이상이 될 예정이며, 이 경우에는 데이터 전송 속도 증가가 가능하므로, 음성 및 문자 데이터 뿐만 아니라 동영상 데이터도 전송이 가능하다.
이러한 메인 CPU 데이터 전송속도에 대응하여 현재 개발중인 화상 휴대폰을 살펴보면, 하나의 디지털 카메라만 장착되어 있어 통화자의 얼굴을 볼 수 있도록 되어 있다.
이 경우 통화자 이외의 주변 환경을 수신자에게 전송하기 위해서 휴대폰의 카메라 각도를 움직여서 주변 환경을 전송해줄 수 있지만, 휴대폰을 여러 각도로 움직여야 하는 불편함이 따르고, 또한 휴대폰을 움직이게 되면 통화에 어려움이 따르는 문제점을 발생한다.
이에 본 발명은 상기와 같은 종래 화상 휴대폰에서 영상 전송시 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서,
본 발명의 목적은, 2개의 디지털 카메라를 구비하고, 송신기에서는 하나의 디지털 카메라로는 통화자의 얼굴을 촬영하고, 다른 하나의 디지털 카메라로는 주변 영상을 촬영한 후 그 촬영된 영상들과 통화자의 음성을 다중화하여 전송하고, 수신기에서는 수신한 영상과 음성을 분리한 후 사용자의 선택적인 디스플레이 요구에 따라 영상을 디스플레이 하도록 한 화상 휴대폰 장치를 제공하는 데 있다.
상기와 같은 목적을 달성하기 위한 본 발명은,
기존 하나의 디지털 카메라가 장착된 휴대폰의 불편함을 없애기 위해 2대의 카메라를 휴대폰에 장착하여 여러 각도의 동영상을 동시에 전송할 수 있도록 한다. 이렇게 하여 통화 당사자간의 상호 의견 교환 및 주변 상황을 좀 더 확실히 알 수 있게 한다. 또한 Ear-Mic를 사용하여 휴대폰을 얼굴에 근접시키지 않고 손에 들고서 주변의 여러 상황을 전달할 수도 있도록 하며, LCD 디스플레이를 여러 모드로 동작시켜 수신자가 원하는 영상만 선택해서 볼 수 있도록 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 의한 화상 휴대폰 장치는,
통화자의 영상을 촬영하여 디지털 영상 데이터로 출력하는 제1 디지털 카메라와;
상기 통화자 주위 환경을 촬영하여 디지털 영상 데이터로 출력하는 제2 디지털 카메라와;
입력되는 영상 선택 신호에 따라 상기 제1 및 제2 디지털 카메라에서 각각출력되는 영상을 선택적으로 출력하는 영상 데이터 선택기와;
상기 영상 데이터 선택기에서 출력되는 영상 데이터를 처리한 후 동영상 데이터를 프레임 단위로 출력하는 화상 데이터 처리부와;
상기 영상 데이터 선택기에 영상 선택 신호를 전달하고, 상기 화상 데이터 처리부에서 출력되는 프레임 단위 동영상 데이터에 위치 정보를 할당한 후 음성 신호와 다중화하여 출력하는 메인 CPU(MSM)로 구성된 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 의한 화상 휴대폰 장치는,
수신한 데이터를 음성 및 동영상 데이터로 분리하고, 그 분리한 데이터중 동영상 데이터는 화상 데이터 처리부에 전송해줌과 아울러 사용자가 선택한 디스플레이 모드에 따라 디스플레이 제어신호를 발생하는 메인 CPU와;
상기 메인 CPU에서 출력되는 동영상 데이터를 처리하고 아날로그 영상 신호로 변환하여 출력하는 상기 화상 데이터 처리부와;
상기 메인 CPU에서 출력되는 디스플레이 제어신호에 따라 상기 화상 데이터 처리부에서 출력되는 동영상을 선택적으로 디스플레이하는 디스플레이부를 포함하여 구성됨을 특징으로 한다.
도 1a는 본 발명에 의한 화상 휴대폰 장치중 송신기의 구성을 보인 블록도이고, 도 1b는 본 발명에 의한 화상 휴대폰 장치중 수신기의 구성을 보인 블록도이다.
<도면의 주요 부분에 대한 부호의 설명>
100, 200 ..... 제1 및 제2 디지털 카메라
300 ..... 영상 데이터 선택기
400 ..... 화상 데이터 처리부
500 ..... 메인 CPU(메인 중앙처리장치)
600 ..... 디스플레이부
이하 상기와 같은 기술적 사상에 따른 본 발명의 바람직한 실시 예를 첨부한 도면에 의거 상세히 설명하면 다음과 같다.
첨부한 도면 도 1a는 본 발명에 의한 화상 휴대폰 장치중 송신기의 구성을보인 블록도이다.
이에 도시된 바와 같이, 통화자의 영상을 촬영하여 디지털 영상 데이터로 출력하는 제1 디지털 카메라(100)와; 상기 통화자 주위 환경을 촬영하여 디지털 영상 데이터로 출력하는 제2 디지털 카메라(200)와; 입력되는 영상 선택 신호에 따라 상기 제1 및 제2 디지털 카메라(100)(200)에서 각각 출력되는 영상을 선택적으로 출력하는 영상 데이터 선택기(300)와; 상기 영상 데이터 선택기(300)에서 출력되는 영상 데이터를 처리한 후 동영상 데이터를 프레임 단위로 출력하는 화상 데이터 처리부(400)와; 상기 영상 데이터 선택기(300)에 영상 선택 신호를 전달하고, 상기 화상 데이터 처리부(400)에서 출력되는 프레임 단위 동영상 데이터에 위치 정보를 할당한 후 음성 신호와 다중화하여 출력하는 메인 CPU(MSM)(500)로 구성된다.
이와 같이 구성된 본 발명의 화상 휴대폰 장치중 송신기는, 제1 디지털 카메라(100)에서 통화자의 영상을 촬영하여 디지털 영상 데이터로 변환하여 영상 데이터 선택기(300)에 전달한다.
아울러 제2 디지털 카메라(200)에서 통화자의 주변 환경을 촬영하여 디지털 영상 데이터로 변환한 후 상기 영상 데이터 선택기(300)에 전달한다.
여기서 제1 디지털 카메라(100)가 통화자를 촬영하고, 제2 디지털 카메라(200)가 통화자 주변 환경을 촬영하는 것으로 설명되어 있으나, 서로의 역할이 바뀔 수도 있고, 또한 두 개의 카메라 모두 주변 환경만을 촬영할 수도 있다. 중요한 것은 2개의 디지털 카메라를 사용하여 하나의 통화자를 촬영하고, 나머지 하나의 카메라로는 통화자 주변 환경을 자연스럽게 촬영하는 것이다.
한편, 메인 CPU(메인 중앙처리장치 : 500)는 상기 영상 데이터 선택기(300)를 제어하여, 제1 디지털 카메라(100)와 제2 디지털 카메라(200)에서 각각 출력되는 영상 데이터가 교번으로 선택되도록 한다.
다음으로 화상 데이터 처리부(400)는 상기 영상 데이터 선택기(300)에서 출력되는 영상 데이터를 처리하여 동영상 데이터로 만들고, 이를 프레임 단위로 상기 메인 CPU(500)에 전달한다.
상기 메인 CPU(500)는 상기 화상 데이터 처리부(400)에서 얻어지는 프레임 단위의 영상 프레임의 임의의 한 비트를 이용하여 동영상 위치 정보를 할당한다. 예를 들어, 동영상 위치 정보가 "0"일 경우에는 제1 디지털 카메라(100)에서 출력되는 영상 데이터를 의미하고, 상기 동영상 위치 정보가 "1"일 경우에는 제2 디지털 카메라(200)에서 출력되는 영상 데이터를 의미한다.
아울러 상기 메인 CPU(500)는 동영상 위치 정보를 할당한 동영상 프레임과 도면에는 도시하지 않았지만 스피커, 음성 처리부를 통해 얻어지는 음성 신호를 합성하여 직렬 데이터로 출력하게 된다.
이렇게 출력되는 합성 데이터(영상+음성)는 기존과 같이 안테나를 통해 무선으로 송출되고, 기지국, 제어국, 이동통신 교환기를 경유하여 다른 이동통신 단말기(또는 영상 디스플레이가 가능한 유선 전화기)에 전달된다.
첨부한 도면 도 1b는 본 발명에 의한 화상 휴대폰 장치중 수신기의 구성을 보인 블록도이다.
이에 도시된 바와 같이, 수신한 데이터를 음성 및 동영상 데이터로분리하고, 그 분리한 데이터중 동영상 데이터는 화상 데이터 처리부(400)에 전송해줌과 아울러 사용자가 선택한 디스플레이 모드에 따라 디스플레이 제어신호를 발생하는 메인 CPU(500)와; 상기 메인 CPU(500)에서 출력되는 동영상 데이터를 처리하고 아날로그 영상 신호로 변환하여 출력하는 상기 화상 데이터 처리부(400)와; 상기 메인 CPU(500)에서 출력되는 디스플레이 제어신호에 따라 상기 화상 데이터 처리부(400)에서 출력되는 동영상을 선택적으로 디스플레이하는 디스플레이부(600)로 구성된다.
이와 같이 구성된 화상 휴대폰 장치중 수신기는, 메인 CPU(500)에서 수신된 음성/동영상 데이터를 음성 데이터와 동영상 데이터로 분리하고, 그 분리한 음성 데이터는 도면에는 도시하지 않았지만 음성 처리부로 전송해주어 음성 처리가 이루어지도록 한다. 아울러 분리한 동영상 데이터는 화상 데이터 처리부(400)에 전달해주고, 사용자가 선택한 디스플레이 모드에 따라 상기 디스플레이부(600)에 디스플레이 제어신호를 발생한다.
여기서 디스플레이 모드는, 사용자가 선택하는 모드이며, 예를 들어 제1 디지털 카메라(100)에서 출력되는 통화자의 영상만을 선택하기 위한 모드, 제2 디지털 카메라(200)에서 출력되는 통화자 주변 환경에 대한 영상만을 선택하기 위한 모드, 상기 통화자 영상과 주변 환경 영상을 동시에 선택하기 위한 모드로 대별된다.
한편, 상기 화상 데이터 처리부(400)는 상기 메인 CPU(500)에서 출력되는 동영상 데이터를 처리하여 아날로그 동영상 신호로 변환하고, 그 변환한 아날로그 동영상 신호를 디스플레이부(600)에 전달한다.
상기 디스플레이부(600)는 상기 메인 CPU(500)에서 출력되는 디스플레이 제어신호에 따라 상기 화상 데이터 처리부(400)에서 출력되는 동영상 신호를 선택적으로 디스플레이한다.
예를 들어, 사용자가 통화자 영상만을 선택하기 위한 모드를 설정한 경우에는 통화자의 영상만을 디스플레이하고, 사용자가 통화자 주변 영상만을 선택하기 위한 모드를 설정한 경우에는 통화자 주변 영상만을 디스플레이하며, 또한 사용자가 통화자와 통화자 주변 영상을 동시에 선택하기 위한 모드를 설정한 경우에는 통화자 영상 및 주변 영상을 동시에 디스플레이 해주게 된다.
이상에서 상술한 본 발명 "화상 휴대폰 장치"에 따르면, 디지털 카메라를 2개 사용함으로써, 용이하게 통화자 및 통화자 주변 환경의 영상을 획득할 수 있는 이점이 있다.
또한 사용자의 디스플레이 모드 선택에 따라 통화자 영상, 통화자 주변 환경 영상, 통화자와 주변환경 영상을 선택적으로 디스플레이해 줄 수 있는 이점이 있다.

Claims (4)

  1. 화상 휴대폰 장치에 있어서,
    통화자의 영상을 촬영하여 디지털 영상 데이터로 출력하는 제1 디지털 카메라와;
    상기 통화자 주위 환경을 촬영하여 디지털 영상 데이터로 출력하는 제2 디지털 카메라와;
    입력되는 영상 선택 신호에 따라 상기 제1 및 제2 디지털 카메라에서 각각 출력되는 영상을 선택적으로 출력하는 영상 데이터 선택기와;
    상기 영상 데이터 선택기에서 출력되는 영상 데이터를 처리한 후 동영상 데이터를 프레임 단위로 출력하는 화상 데이터 처리부와;
    상기 영상 데이터 선택기에 영상 선택 신호를 전달하고, 상기 화상 데이터 처리부에서 출력되는 프레임 단위 동영상 데이터에 위치 정보를 할당한 후 음성 신호와 다중화하여 출력하는 메인 CPU(메인 중앙처리장치 : MSM)를 포함하여 구성된 것을 특징으로 하는 화상 휴대폰 장치.
  2. 제1항에 있어서, 상기 메인 CPU는,
    동영상 위치 정보 할당시 통화자의 영상을 나타내는 경우에는 동영상 위치 정보를 "0"으로 할당하고, 상기 통화자 주변 영상을 나타내는 경우에는 동영상 위치 정보를 "1"로 할당하는 것을 특징으로 하는 화상 휴대폰 장치.
  3. 화상 휴대폰 장치에 있어서,
    수신한 데이터를 음성 및 동영상 데이터로 분리하고, 그 분리한 데이터중 동영상 데이터는 화상 데이터 처리부에 전송해줌과 아울러 사용자가 선택한 디스플레이 모드에 따라 디스플레이 제어신호를 발생하는 메인 CPU(메인 중앙처리장치)와;
    상기 메인 CPU에서 출력되는 동영상 데이터를 처리하고 아날로그 영상 신호로 변환하여 출력하는 상기 화상 데이터 처리부와;
    상기 메인 CPU에서 출력되는 디스플레이 제어신호에 따라 상기 화상 데이터 처리부에서 출력되는 동영상을 선택적으로 디스플레이하는 디스플레이부를 포함하여 구성된 것을 특징으로 하는 화상 휴대폰 장치.
  4. 제3항에 있어서, 상기 디스플레이 모드는,
    통화자의 영상만을 선택적으로 디스플레이하기 위한 제1 디스플레이 모드, 통화자 주변 환경에 대한 영상만을 선택적으로 디스플레이하기 위한 제2 디스플레이 모드, 상기 통화자 영상과 주변 환경 영상을 동시에 디스플레이하기 위한 제3 디스플레이 모드를 나타내는 것을 특징으로 하는 화상 휴대폰 장치.
KR1020000078554A 2000-12-19 2000-12-19 화상 휴대폰 장치 KR100358166B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020000078554A KR100358166B1 (ko) 2000-12-19 2000-12-19 화상 휴대폰 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020000078554A KR100358166B1 (ko) 2000-12-19 2000-12-19 화상 휴대폰 장치

Publications (2)

Publication Number Publication Date
KR20020049391A KR20020049391A (ko) 2002-06-26
KR100358166B1 true KR100358166B1 (ko) 2002-10-25

Family

ID=27683357

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000078554A KR100358166B1 (ko) 2000-12-19 2000-12-19 화상 휴대폰 장치

Country Status (1)

Country Link
KR (1) KR100358166B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100965390B1 (ko) * 2003-03-07 2010-06-22 주식회사 팬택 한 핸드셋 내에서 두 개의 이미지 센서 제어 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100735705B1 (ko) * 2005-09-15 2007-07-06 엘지전자 주식회사 화상 통신 기능을 갖는 이동 단말기 및 이를 이용한 화상통신 방법
KR100868355B1 (ko) 2006-11-16 2008-11-12 삼성전자주식회사 화상통화를 위한 대체영상을 제공하는 이동통신단말기 및그 방법
KR100920160B1 (ko) * 2007-12-27 2009-10-06 보라테크 주식회사 영상통화 단말기 및 이를 이용한 컨텐츠 전송방법
US8451312B2 (en) 2010-01-06 2013-05-28 Apple Inc. Automatic video stream selection
US8744420B2 (en) 2010-04-07 2014-06-03 Apple Inc. Establishing a video conference during a phone call
US11323407B2 (en) 2017-10-26 2022-05-03 Halo Innovative Solutions Llc Methods, systems, apparatuses, and devices for facilitating managing digital content captured using multiple content capturing devices
US11553216B2 (en) 2017-10-26 2023-01-10 Halo Innovative Solutions Llc Systems and methods of facilitating live streaming of content on multiple social media platforms
US10693830B2 (en) 2017-10-26 2020-06-23 Halo Innovative Solutions Llc Methods, systems, apparatuses and devices for facilitating live streaming of content on multiple social media platforms

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100965390B1 (ko) * 2003-03-07 2010-06-22 주식회사 팬택 한 핸드셋 내에서 두 개의 이미지 센서 제어 방법

Also Published As

Publication number Publication date
KR20020049391A (ko) 2002-06-26

Similar Documents

Publication Publication Date Title
US7535484B2 (en) Communication terminals that vary a video stream based on how it is displayed
US6839079B2 (en) Video-telephony system
JP4016388B2 (ja) テレビ電話機能付き携帯電話端末
ES2741016T3 (es) Cámara para comunicar una transmisión continua multimedia a un Cliente Remoto
KR101433157B1 (ko) 휴대 단말기 및 그 이미지 전송 방법
US20050208962A1 (en) Mobile phone, multimedia chatting system and method thereof
US20050264650A1 (en) Apparatus and method for synthesizing captured images in a mobile terminal with a camera
CN101073050A (zh) 在多个显示屏上显示信息的手持无线通信装置、操作该装置的方法和操作该装置的计算机程序产品
CN101242509A (zh) 能够与外部装置通信的拍摄装置及其控制方法
EP1304859A3 (en) Terminal apparatus and method for radio communication
KR100358166B1 (ko) 화상 휴대폰 장치
US20050140802A1 (en) Method for synthesizing photographed image with background scene in appratus having a camera
KR100722466B1 (ko) 오버레이 버퍼를 이용한 화상통화기능이 구비된 이동통신단말기시스템 및 그 제어방법
US20050280731A1 (en) Apparatus and method for displaying images in a portable terminal comprising a camera and two display units
KR20010048086A (ko) 다중화면 표시기능을 가지는 휴대용 무선 단말기
KR100747581B1 (ko) 카메라를 구비한 통신 단말 장치와 이를 이용한 데이터송수신 방법
KR101432830B1 (ko) 다자간 영상 통화 제어 방법, 이동통신 단말기 및 기록매체
JPH02113656A (ja) テレビ電話機
US8140955B2 (en) Image communication portable terminal and method for carrying out image communication using the same
KR101386522B1 (ko) 카메라가 구비되지 않은 통신 단말기를 이용하여 화상통화를 수행하는 방법 및 시스템
JP2006325092A (ja) 電話通信システム、電話通信方法、中継サーバー及び携帯電話機
JP2002027050A (ja) 携帯テレビ電話装置
JP2012100135A (ja) 携帯通信端末及びそのコンピュータソフトウェア
JP2004214766A (ja) 携帯電話機
KR20050087487A (ko) 원격제어기능을 가진 이동통신단말기

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120928

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20131002

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20141008

Year of fee payment: 13

LAPS Lapse due to unpaid annual fee