KR100961046B1 - 영상-클럭을 조정하는 회로 및 방법 - Google Patents

영상-클럭을 조정하는 회로 및 방법 Download PDF

Info

Publication number
KR100961046B1
KR100961046B1 KR1020080023373A KR20080023373A KR100961046B1 KR 100961046 B1 KR100961046 B1 KR 100961046B1 KR 1020080023373 A KR1020080023373 A KR 1020080023373A KR 20080023373 A KR20080023373 A KR 20080023373A KR 100961046 B1 KR100961046 B1 KR 100961046B1
Authority
KR
South Korea
Prior art keywords
signal
phase
clock
vertical synchronization
pixel
Prior art date
Application number
KR1020080023373A
Other languages
English (en)
Other versions
KR20080110459A (ko
Inventor
옹 젠-충
첸 자-린
Original Assignee
홀텍 세미컨덕터 인코오포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 홀텍 세미컨덕터 인코오포레이티드 filed Critical 홀텍 세미컨덕터 인코오포레이티드
Publication of KR20080110459A publication Critical patent/KR20080110459A/ko
Application granted granted Critical
Publication of KR100961046B1 publication Critical patent/KR100961046B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03LAUTOMATIC CONTROL, STARTING, SYNCHRONISATION OR STABILISATION OF GENERATORS OF ELECTRONIC OSCILLATIONS OR PULSES
    • H03L7/00Automatic control of frequency or phase; Synchronisation
    • H03L7/06Automatic control of frequency or phase; Synchronisation using a reference signal applied to a frequency- or phase-locked loop
    • H03L7/08Details of the phase-locked loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745Circuitry for generating timing or clock signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/06Generation of synchronising signals
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03LAUTOMATIC CONTROL, STARTING, SYNCHRONISATION OR STABILISATION OF GENERATORS OF ELECTRONIC OSCILLATIONS OR PULSES
    • H03L7/00Automatic control of frequency or phase; Synchronisation
    • H03L7/06Automatic control of frequency or phase; Synchronisation using a reference signal applied to a frequency- or phase-locked loop
    • H03L7/08Details of the phase-locked loop
    • H03L7/085Details of the phase-locked loop concerning mainly the frequency- or phase-detection arrangement including the filtering or amplification of its output signal
    • H03L7/089Details of the phase-locked loop concerning mainly the frequency- or phase-detection arrangement including the filtering or amplification of its output signal the phase or frequency detector generating up-down pulses

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Synchronizing For Television (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

위상비교기와, 클럭제어기와, 타이밍발생기를 포함하는 영상-클럭을 조정하는 회로이다. 상기 위상비교기는 수신된 전원신호와 수직동기신호의 위상을 비교함으로써 적어도 하나의 위상비교신호가 발생한다. 상기 클럭제어기는 상기 위상비교신호와 상기 수직동기신호를 비교함으로써, 발생한 화소클럭신호의 제1클럭폭을 간헐적으로 조정한다. 상기 타이밍발생기는 상기 화소클럭신호를 수신함으로써, 발생한 수직동기신호를 미세 조정하고 상기 수직동기신호와 상기 전원신호를 동일위상이 되도록 한다.

Description

영상-클럭을 조정하는 회로 및 방법 {IMAGE-CLOCK ADJUSTING CIRCUIT AND METHOD}
본 발명은 영상-클럭(image-clock)을 조정하는 회로 및 방법에 관한 것으로서, 특히 컬러롤링(color rolling) 현상을 억제하는 영상-클럭을 조정하는 회로 및 방법에 관한 것이다.
전자영상시스템은 촬상기구와 영상처리유닛을 구비한다. 촬상기구는 촬영기와 조명설비를 포함하고, 영상처리유닛은 영상처리기와, 텔레비전 코더(television coder)와 영상표시기를 포함한다.
촬영기의 영상픽업유닛은 광센서에 의해 구성되고, 최근 사용되고 있는 것은 주로 전하결합소자(charge-coupled device, CCD) 또는 상보형 모스(complementary metal-oxide semiconductor, CMOS)이다.
조명설비에 있어서 형광램프의 발광원리는, 통전 후 양단 전극으로부터 사출(射出)되는 전자를 이용하고, 램프의 관 내벽의 형광을 이용하며 램프의 관 내벽 상의 형광물질을 충격하여 형광을 방출한다. 형광램프를 사용하여 조명하는 경우 섬광(閃光) 문제를 해결하는 것이 필요하다. 형광램프는 교류전원의 주파수(예컨 대 60Hz)에 대응하여 명암의 변화를 나타낸다. 인간은 시각잠류(暫留) 생리현상이 있기 때문에 용이하게 형광램프의 섬광상황을 감지할 수 없지만, 촬영기의 전하결합소자는 이러한 광원 환경 하에서는 정확한 영상을 취득할 수 있다.
영상처리기의 주된 목적은, 촬영기의 전하결합소자로부터 전송된 비디오를 수신하고 그것을 디지털 영상데이터로 변환한 후, 영상저장체에 저장하고 영상 처리 및 분석을 진행하는 것이다. 영상처리기는 촬영기의 전하결합소자와 배합하여 사용하지 않으면 안 되기 때문에, 양자 간에 사용되는 영상신호의 규격도 일치하지 않으면 안 된다. 컬러비디오 표준상용자는 NTSC(National Television System Committee)와 PAL(Phase Alternation Line) 두 종류가 있다.
텔레비전 코더는 영상처리기로부터 출력된 디지털 비디오신호를 아날로그 복합식 비디오신호로 변환하거나 또는 휘도와 색차가 분리된 아날로그 텔레비전신호로 변환하여 텔레비전 또는 영상표시기에 표시를 제공한다.
NTSC 감시시스템의 필드주파수는 59.94 fields/sec이고, 전력주파수가 60Hz인 상황 하에서 일반적인 형광램프의 섬광주파수는 60Hz이다. 만약 양자 간의 상호관계를 고려하지 않는다면, 형광램프의 관계 하에서 각 필드 중에서는 광량의 적분값이 일치하지 않기 때문에 각 필드의 CCD 센서의 수광 상황이 일치하지 않게 되고, 나아가서는 분포의 불균일을 초래하기 때문에 모든 컬러롤링 현상을 일으키고, 즉 영상이 주기성 변화를 일으키게 된다. 최근의 통용되는 해결방법은 어느 외부회로 상에 액외(額外)소자를 증가시킴으로써 외부 클럭주파수를 동적으로 조정하여 영상처리기에 그 주파수를 사용할 수 있도록 제공하는 것이다. 이것은 비용을 증 가시킬 뿐만 아니라, 정확하게 외부소자를 조정하는 것도 쉽지 않다.
컬러롤링 현상을 해결하기 위한 선행기술은 US20050253941의 공개문헌에 개시되어 있다. 상기 선행기술은 수신된 영상신호로부터 복수의 메인컬러신호들을 추출하고, 추출된 메인컬러신호에 의거하여 각 컬러신호의 적분데이터를 계산하고, 각 컬러신호의 적분데이터의 변동에 의거하여 컬러롤링 현상이 발생하기 시작했는지 여부를 판단한다. 상기 컬러롤링 현상을 측정했다면 고속 화이트 밸런스(white balance)로 상기 현상을 억제한다.
컬러롤링 현상을 해결하기 위한 다른 선행기술은 US20050200704의 공개문헌에 개시되어 있다. 상기 선행기술은 고체 영상픽업장치에 의해 영상픽업신호를 발생시키고, 광량검출기로 고체 영상픽업장치에 입사되는 광량을 검출하며, 수정회로에 의해 상기 광량을 수신하고 상기 광량의 복수주기변화량을 검출함과 동시에, 주기변화량에 의거하여 상기 영상픽업신호를 수정한다.
상기 두 선행기술들은 모두 광원의 입사광을 검출함과 동시에 컬러의 변화를 분석 획득함으로써 픽업된 영상신호를 수정하고 컬러롤링 현상을 억제한다. 이렇게 하면, 영상처리의 복잡도 및 전체 비용을 증가시킨다.
요약하면, 비교적 간단한 회로와 비교적 낮은 비용으로 컬러롤링 현상을 억제하는 것이 본 발명의 주요 동기이다.
그러므로 본 발명인은 상기 선행기술의 결함을 거울삼아 예의시험과 연구를 반복한 결과, 마침내 본 발명의 영상-클럭을 조정하는 회로 및 방법을 제출한다.
본 발명에 의해 제공되는 영상-클럭을 조정하는 회로는, 수신된 전원신호와 수직동기신호의 위상을 비교함으로써 적어도 하나의 위상비교신호가 발생하는 위상비교기와, 상기 위상비교신호와 상기 수직동기신호를 비교함으로써, 발생한 화소클럭신호의 제1클럭폭을 간헐적으로 조정하는 클럭제어기와, 상기 화소클럭신호를 수신함으로써, 발생한 수직동기신호를 미세 조정하고 상기 수직동기신호와 상기 전원신호를 동일위상이 되도록 하는 타이밍발생기를 포함한다. 이것에 의해 비교적 간단한 회로로 컬러롤링 현상을 억제하는 효과를 달성한다.
또한, 본 발명에 의해 제공되는 영상-클럭을 조정하는 방법은, 전원신호와 수직동기신호의 위상을 비교함으로써 적어도 하나의 위상비교신호가 발생하는 단계와, 상기 위상비교신호와 상기 수직동기신호에 의해, 발생한 화소클럭신호의 제1클럭폭을 간헐적으로 조정하는 단계와, 상기 화소클럭신호에 의해, 발생한 수직동기신호를 미세 조정하고, 상기 수직동기신호와 상기 전원신호를 동일위상이 되도록 하는 단계를 포함한다. 이렇게 하면, 비교적 손쉬운 경제적 방법으로 컬러롤링 현 상을 억제하는 효과를 달성한다.
본 발명의 특징들은, 디지털 회로의 기술을 이용하여 클럭폭을 동적으로 조정함으로써 영상 시스템의 수직동기신호 및 조명용의 형광램프에 사용되는 전원주파수를 일치시킨다. 나아가서는 CCD 센서의 수광에 차이가 발생하는 경우를 회피하고, 효과적으로 컬러롤링 문제를 해결할 수 있다. 화소클럭신호의 클럭폭을 동적으로 조정함으로써, 변동될 필요가 있는 클럭폭을 적어도 하나의 서브블랭킹 영역의 각 주사선에 적절히 분배할 수 있다. 이것에 의해 대폭적으로 컬러롤링 현상을 감소시킬 수 있다.
본 발명에 의해 제출된 영상-클럭을 조정하는 회로 및 방법을 보다 상세히 설명하기 위하여, 이하 여러 개의 바람직한 실시예를 근거하여 설명한다.
도 1은 본 발명에 의해 제출된 영상-클럭을 조정하는 회로의 일 실시예의 블록 다이어그램이다. 도 1에서, 영상-클럭 조정회로(30)는 위상비교기(31)와, 클럭제어기(32)와, 타이밍발생기(33)를 포함한다.
위상비교기(31)는 전원신호 VPSRC 와 수직동기신호 VVSYNC 를 수신하고, 상기 양 신호 간의 위상관계를 비교함으로써 적어도 하나의 위상비교신호 VPHASE 가 발생하고, 상기 위상비교신호 VPHASE 는 위상차 정보를 포함한다. 그리고 NTSC 컬러비디오표준은, 하나의 화면의 공간위치에 있어서 비월주사(飛越走査)의 2개의 필드에서 하나의 완전한 영상을 가지는 프레임을 표시하고, 각 프레임은 525개의 주사선이 있고, 각 프레임의 주파수는 59.94 frames/sec이다. NTSC의 컬러비디오표준을 채용하는 경우, 표준 수직동기신호 VVSYNC 의 주파수는 59.94Hz이다. 그리고 배합되어 사용되는 교류전압의 주파수가 60Hz인 경우, 전원신호 VPSRC 의 주파수도 60Hz이다. 컬러롤링 현상을 감소시키기 위하여 표준 수직동기신호 VVSYNC 의 주파수를 조정하고, 그것을 전원신호 VPSRC 의 주파수와 일치시키려고 한다.
클럭제어기(32)는 위상비교신호 VPHASE 와 수직동기신호 VVSYNC 를 수신함으로써, 발생한 화소클럭신호 VPCLK 의 제1클럭폭을 간헐적으로 조정한다. 그리고 화면상에는 복수의 화소의 표시위치가 대응하고 있고, 화소클럭신호 VPCLK 는 상기 화소들이 표시되는 시간을 제어한다. 화면에는 표시 영역과 블랭킹(blanking) 영역이 있다. 화소클럭신호 VPCLK 에는 표시 영역과 블랭킹 영역의 화소위치들에 대응하는 클럭이 있으며, 또한 화소클럭신호 VPCLK 는 2개의 필드 중에서 복수의 주사선의 비월주사에 대응하고 있다. 클럭제어기(32)는 위상비교신호 VPHASE 및 수직동기신호 VVSYNC 에 의거하여 전원신호 VPSRC 와 수직동기신호 VVSYNC 간의 위상관계를 취득함으로써, 발생한 화소클럭신호 VPCLK 의 제1클럭폭을 간헐적으로 조정한다. 이렇게 하면 상기 화소들 중에서 적어도 제1화소의 화면 중에서 대응되는 위치의 표시 시간을 미세하게 조정할 수 있다.
타이밍발생기(33)는 화소클럭신호 VPCLK 를 수신하고, 간헐적으로 제1클럭폭을 조정한 결과에 의거하여 발생한 수직동기신호 VVSYNC 를 미세 조정하고, 수직동기신호 VVSYNC 를 위상비교기(31)와 클럭제어기(32)로 피드백하고, 수직동기신호 VVSYNC 를 전원신호 VPSRC 와 동일위상이 되도록 한다. 그리고 수직동기신호 VVSYNC 와 화면의 필드는 동일한 주파수를 기지고 있고, 이것에 의해 수직동기신호 VVSYNC 또는 필드의 주파수를 전원신호 VPSRC 의 주파수에 동기 또는 일치시킨다. 이런 경우, 필드표시주파수가 형광램프의 섬광주파수와 일치하기 때문에, 컬러롤링 현상이 개선된다.
도 1에서, 클럭제어기(32)는 인덱스 변수와 인덱스 변수의 변화가능구간을 미리 설정하고, 초기상태로는 인덱스 변수의 값을 변화가능구간의 중간점으로 설정하고, 인덱스 변수의 미리 설정된 값을 형성한다. 클럭제어기(32)는 위상비교신호 VPHASE 를 분석하고, 획득된 전원신호 VPSRC 와 수직동기신호 VVSYNC 의 위상관계에 의거하여 인덱스 변수의 값을 조정한다. 그리고 클럭제어기(32)는 인덱스 변수의 값을 이용하여 발생한 화소클럭신호 VPCLK 의 제1클럭폭을 간헐적으로 조정한다.
그 중에서 인덱스 변수의 값을 조정하는 방법은, 전원신호 VPSRC 의 위상이 수직동기신호 VVSYNC 의 위상보다 앞서면 인덱스 변수의 값을 감소시키고, 전원신호 VPSRC 의 위상이 수직동기신호 VVSYNC 의 위상보다 뒤처지면 인덱스 변수의 값을 증가시시킨다. 인덱스 변수의 값을 조정하는 다른 방법은, 전원신호 VPSRC 의 위상이 수직동기신호 VVSYNC 의 위상보다 앞서면 인덱스 변수의 값을 증가시키고, 전원신호 VPSRC 의 위상이 수직동기신호 VVSYNC 의 위상보다 뒤처지면 인덱스 변수의 값을 감소시킨다. 예를 들면, 인덱스 변수의 값을 설정하는 변화가능구간은 [0 ~ N-1]이고, 그 중에서 동적으로 조정 가능한 단수는 합계 N단이며, N은 짝수이다. 초기상태로 인덱스 변수의 설정값은 N/2이다. 그리고 클럭제어기(32)의 검출에 의해 전원신호 VPSRC 의 위상이 수직동기신호 VVSYNC 의 위상보다 앞선다는 것을 감지하면 인덱스 변수의 값을 1 감소시킨다. 또는 클럭제어기(32)의 검출에 의해 전원신호 VPSRC 의 위상이 수직동기신호 VVSYNC 의 위상보다 뒤처진다는 것을 감지하면 인덱스 변수의 값을 1 더한다.
다음으로, 영상-클럭 조정회로(30)의 다른 배치방식을 설명한다. 도 2는 본 발명에 따른, 영상-클럭을 조정하는 회로의 다른 실시예의 블록 다이어그램이다. 도 1 및 도 2에서 동일한 부호는 동일한 명칭과 기능을 가진다. 도 2에 있어서 회로(40)의 배치방식의 특징은, 클럭제어기(32)와 타이밍발생기(33)를 하나의 장치로 병합한 것이다. 즉, 영상-클럭 조정회로(40)는 위상비교기(31)와, 집적 클럭처리기(34)를 포함한다. 위상비교기(31)는 수신된 전원신호 VPSRC 와 수직동기신호 VVSYNC 의 위상을 비교하고, 적어도 하나의 위상비교신호 VPHASE 를 발생시킨다. 그리고 집적 클럭처리기(34)는 위상비교신호 VPHASE 와 수직동기신호 VVSYNC 를 수신함으로써 제1출력단에서 발생한 화소클럭신호 VPCLK 의 제1클럭폭을 간헐적으로 조정하고, 또한 제2출력단에서 발생한 수직동기신호 VVSYNC 를 미세 조정하고 수직동기신호 VVSYNC 와 전원신호 VPSRC 를 동일위상이 되도록 한다.
도 3은 본 발명의 위상비교기에 있어서 일 실시예의 회로의 다이어그램이다. 도 3에서 위상비교기(31)는 제1플립플롭(flip-flop)(311)와, 제2플립플롭(312)와, NAND 게이트(313)를 포함하고, 또한 제1위상비교신호 VUP 와 제2위상비교신호 VDN 가 발생한다. 제1플립플롭(311)의 클럭입력단 CLK 은 전원신호 VPSRC 를 수신하고 리셋입력단 RST 은 리셋신호 VRST _ N 를 수신함으로써 제1,2위상비교신호 VUP, VDN 중에서 제1위상비교신호 VUP 가 발생한다. 제2플립플롭(312)의 클럭입력단 CLK 은 수직동기신호 VVSYNC 를 수신하고 리셋입력단 RST 은 리셋신호 VRST _ N 를 수신함으로써 제1,2위상비교신호 VUP, VDN 중에서 제2위상비교신호 VDN 가 발생한다. NAND 게이트(313)는 제1위상비교신호 VUP 와 제2위상비교신호 VDN 를 수신함으로써 리셋신호 VRST _N 가 발생한다. 그 중에서 제1위상비교신호 VUP 와 제2위상비교신호 VDN 는 전원신호 VPSRC 와 수직동기신호 VVSYNC 간의 위상관계를 반영한다.
도 3에서, 전원신호 VPSRC 의 위상이 수직동기신호 VVSYNC 의 위상보다 앞서면 발생한 제1위상비교신호 VUP 는 제1펄스를 가지며, 전원신호 VPSRC 의 위상이 수직동기신호 VVSYNC 의 위상보다 뒤처지면 발생한 제2위상비교신호 VDN 는 제2펄스를 가진다.
도 4는 본 발명의 영상-클럭을 조정하는 회로의 응용 시스템 중에서 일 실시예의 블록 다이어그램이다. 도 4에서 영상-클럭을 조정하는 회로의 응용 시스템(50)은 영상-클럭 조정회로(30)를 기본구성으로 하고, 그 후 주변장치를 확충하여 얻은 것으로서, 도 4 및 도 1에서 동일한 부호는 동일한 명칭 및 기능을 가진다. 도 4에 있어서 영상-클럭 조정회로(30)의 응용 시스템(50)은 영상-클럭 조정회로(30), 포맷터(formatter)(51), 진동기(52), 영상픽업장치(53), 컬러 영상처리기(54), 텔레비전 코더(55) 및 영상표시기(56)를 포함한다.
영상-클럭 조정회로(30)는 위상비교기(31), 클럭제어기(32) 및 타이밍발생기(33)를 포함하고, 회로(30)에 대한 설명은 도 1에서의 설명과 동일하다. 그 밖에 도 4에서 타이밍발생기(33)는 화소클럭신호 VPCLK 에 의거하여 영상픽업제어신호 VRCLK 가 발생하고, 영상픽업장치(53)가 영상을 획득할 때의 참고 클럭으로서 이용된다.
포맷터(51)는 교류전압 VAC 을 수신함으로써 전원신호 VPSRC 가 발생하고, 위상비교기(31)에 동일 주파수의 교류전압 VAC 및 전원신호 VPSRC 를 제공한다. 본 실 시예에서 교류전압 VAC 의 표시주파수는 60Hz이지만, 실제주파수는 60Hz로 고정되지 않고, 약간의 변동이 있을 수 있다.
상술한 영상-클럭 조정회로(30)는 이러한 약간의 주파수 변동에 적응할 수 있고, 수직동기신호 VVSYNC 와 전원신호 VPSRC 를 동일위상이 되도록 한다.
진동기(52)는 메인클럭신호 VMCLK 가 발생하고, 그 신호 VMCLK 를 클럭제어기(32)와 텔레비전 코더(55)에 제공한다. 클럭제어기(32)는 메인클럭신호 VMCLK 의 주기를 참고하여, 발생한 화소클럭신호의 제1클럭폭을 간헐적으로 조정한다. 물론 메인클럭신호 VMCLK 의 주파수는 변화가 없다. 화소클럭신호 VPCLK 의 제1클럭폭이 조정되지 않은 상태에서, 서로 다른 종류의 CCD 센서에 따라 메인클럭신호 VMCLK 의 주파수는 화소클럭신호 VPCLK 의 주파수의 2배, 3배 또는 그 외의 정수배가 된다. 클럭제어기(32)가 화소클럭신호 VPCLK 의 제1클럭폭을 조정할 필요가 있는 경우 메인클럭신호 VMCLK 의 주기를 단위로 하여 제1클럭폭을 조정한다.
본 실시예의 영상픽업장치(53)는 CCD 센서를 포함한다. 영상픽업장치(53)는 영상픽업제어신호 VRCLK 를 수신하고 영상픽업제어신호 VRCLK 의 클럭에 의거하여 영상을 취득하고 영상픽업신호 VPICK 를 발생시킨다.
컬러 영상처리기(54)는 영상픽업신호 VPICK 와 화소클럭신호 VPCLK 를 수신함으 로써 영상 후처리신호 VPOST 가 발생한다. 텔레비전 코더(55)는 영상 후처리신호 VPOST 와 메인클럭신호 VMCLK 와 화소클럭신호 VPCLK 를 수신함으로써 표시구동신호 VTV 를 발생시키고 그 신호 VTV 를 영상표시기(56)로 제공한다.
도 5a, 도 5b 및 도 5c는 화소클럭신호가 화면에 대응하는 배치도이다. 도 5a, 도 5b 및 도 5c에서, 화소클럭신호 VPCLK 에 의해 제어되는 화면(60)은 표시 영역(61)과 블랭킹(blanking) 영역(62)을 포함하고, 블랭킹 영역(62)은 상부 서브블랭킹 영역(621), 하부 서브블랭킹 영역(622), 우상부 서브블랭킹 영역(623), 우중부 서브블랭킹 영역(624), 우하부 서브블랭킹 영역(625)으로 더 구분된다. 메인클럭신호 VMCLK 의 주기는 고정적이고 화소클럭신호 VPCLK 는 메인클럭신호 VMCLK 의 주기를 참조하여 화면(60)의 순환주사를 제어한다. 도 5a에 도시된 바와 같이, 아직 간헐적으로 화소클럭신호 VPCLK 의 제1클럭폭을 조정하지 않은 상태에서는, 화소클럭신호 VPCLK 의 주기는 메인클럭신호 VMCLK 의 주기의 2배가 된다. 도 5b에 도시된 바와 같이, 클럭제어기(32)는 화면(60)의 적어도 하나의 서브블랭킹 영역이 대응하는 적어도 하나의 블랭킹 클럭 구간에서, 발생한 화소클럭신호 VPCLK 의 제1클럭폭을 간헐적으로 조정한다. 만약 K번째 주사선에 소재하는 서브블랭킹 영역의 적어도 하나의 화소가 대응하는 클럭폭을 조정하는 경우, 대응하는 클럭폭은 메인클럭신호 VMCLK 의 주기의 2배 또는 그 외의 정수배까지 변경될 것이다.
이후, 화소클럭신호 VPCLK 의 제1클럭폭을 간헐적으로 조정하기 위한 바람직한 실시예에 대해 설명한다. 상술한 바와 같이, 클럭제어기(32)는 인덱스 변수와 인덱스 변수의 값의 변화가능구간을 미리 설정하고, 수신된 위상비교신호 VPHASE 를 분석하고, 획득된 전원신호 VPSRC 와 수직동기신호 VVSYNC 의 위상관계에 의거하여 인덱스 변수의 값을 조정한다. 이후, 클럭제어기(32)는 인덱스 변수의 값과 화면(60)의 순환주사규격에 의거하여 화면(60)의 적어도 하나의 서브블랭킹 영역이 대응하는 적어도 하나의 블랭킹 클럭 구간에서, 화소클럭신호 VPCLK 의 제1클럭폭을 간헐적으로 조정한다.
클럭제어기(32)는 인덱스 변수의 현재값에 의거하여 적어도 하나의 서브블랭킹 영역의 적어도 하나의 화소를 선택하고, 대응하는 클럭폭을 조정한다. 인덱스 변수의 디폴트값을 참조하면서 인덱스 변수의 변동값이 우상부 서브블랭킹 영역(623)과 우하부 서브블랭킹 영역(625)의 조정을 개입하고 제1화소가 대응하는 클럭폭을 조정하고, 수직동기신호 VVSYNC 와 전원신호 VPSRC 를 동일위상이 되도록 하는 경우, 우선적으로 우상부 서브블랭킹 영역(623)과 우하부 서브블랭킹 영역(625) 중에서 제1화소를 선택하고 화소클럭신호 VPCLK 중 상기 제1화소에 의해 대응되는 때의 제2클럭폭을 조정한다.
도 5c에 도시된 바와 같이, 변동값이 비교적 크고, 우상부 서브블랭킹 영역(623)과 우하부 서브블랭킹 영역(625)을 조정하는 것만으로는 수직동기신호 VVSYNC 와 전원신호 VPSRC 를 동일위상이 되도록 하지 못하는 경우, 행을 단위로 하여 우상부 서브블랭킹 영역(623), 우중부 서브블랭킹 영역(624) 및 우하부 서브블랭킹 영역(625) 중 적어도 하나의 제2화소를 선택하고, 화소클럭신호 VPCLK 중 상기 제2화소가 대응하는 클럭의 제3클럭폭을 조정한다. 이후, 처리가 완성되지 못한 잉여변동값에 대하여는 우상부 서브블랭킹 영역(623) 및 우하부 서브블랭킹 영역(625) 중 적어도 하나의 제3화소를 선택하고 화소클럭신호 VPCLK 중 상기 제3화소가 대응하는 클럭의 제4클럭폭을 조정한다.
계속하여, 본 발명에 의해 제출된 영상-클럭을 조정하는 방법을 설명한다. 이 방법은 우선, 전원신호 VPSRC 와 수직동기신호 VVSYNC 의 위상을 비교함으로써 적어도 하나의 위상비교신호 VPHASE 가 발생하는 단계와, 다음, 위상비교신호 VPHASE 와 수직동기신호 VVSYNC 를 이용하여, 발생한 화소클럭신호 VPCLK 의 제1클럭폭을 간헐적으로 조정하는 단계와, 그 이후, 화소클럭신호 VPCLK 를 이용하여, 발생한 수직동기신호 VVSYNC 를 미세하게 조정하고, 수직동기신호 VVSYNC 와 전원신호 VPSRC 를 동일위상이 되도록 하는 단계를 포함한다.
본 발명의 특징들은, 디지털 회로의 기술을 이용하여 클럭폭을 동적으로 조정함으로써 영상 시스템의 수직동기신호 및 조명용의 형광램프에 사용되는 전원주파수를 일치시킨다. 나아가서는 CCD 센서의 수광에 차이가 발생하는 경우를 회피하고, 효과적으로 컬러롤링 문제를 해결할 수 있다. 화소클럭신호의 클럭폭을 동 적으로 조정함으로써, 변동될 필요가 있는 클럭폭을 적어도 하나의 서브블랭킹 영역의 각 주사선에 적절히 분배할 수 있다. 이것에 의해 대폭적으로 컬러롤링 현상을 감소시킬 수 있다.
요약하면 본 발명의 영상-클럭을 조정하는 회로 및 방법은 확실히 본 발명의 아이디어에 의해 설정된 효과를 달성하는 것이 가능하다. 그러나, 여기에서 강조할 것은 상기 실시예는 본 발명의 일 바람직한 실시예에 지나지 않고, 본 발명의 기술적 사상은 이것에 한정되지 않는다. 말하자면, 본 출원의 첨부 클레임의 범위를 일탈하지 않는 한, 당업자에 의해 단순한 설계변경, 부가, 수식(修飾), 치환 등은 모두 본 발명의 기술적 범위에 속한다.
도 1은 본 발명의 영상-클럭을 조정하는 회로의 일 실시예의 블록 다이어그램이고,
도 2는 본 발명의 영상-클럭을 조정하는 회로의 다른 실시예의 블록 다이어그램이고,
도 3은 본 발명의 위상비교기 중에서 일 실시예의 회로의 다이어그램이고,
도 4는 본 발명의 영상-클럭을 조정하는 회로의 응용 시스템 중에서 일 실시예의 블록 다이어그램이고,
도 5a, 도 5b 및 도 5c는 본 발명의 화소클럭신호가 화면에 대응하는 배치도이다.
<도면의 주요 부분에 대한 부호의 설명>
30, 40: 영상-클럭을 조정하는 회로
31: 위상비교기 32: 클럭제어기
33: 타이밍발생기 34: 집적 클럭처리기
VPSRC: 전원신호 VVSYNC: 수직동기신호
VPHASE: 위상비교신호 VPCLK: 화소클럭신호
50: 영상-클럭을 조정하는 회로의 응용 시스템
51: 포맷터 52: 진동기
53: 영상픽업장치 54: 컬러 영상처리기
55: 텔레비전 코더 56: 영상표시기
VRCLK: 영상픽업제어신호 VAC: 교류전압
VMCLK: 메인클럭신호 VPICK: 영상픽업신호
VPOST: 영상 후처리신호 VTV: 표시구동신호

Claims (11)

  1. 삭제
  2. 수신된 전원신호와 수직동기신호의 위상을 비교하고, 적어도 하나의 위상비교신호가 발생하는 위상비교기;
    상기 위상비교신호와 상기 수직동기신호를 수신함으로써, 발생한 화소클럭신호의 제1클럭폭을 조정하는 클럭제어기; 및
    상기 화소클럭신호를 수신함으로써, 발생한 수직동기신호를 미세 조정하고 상기 수직동기신호와 상기 전원신호를 동일위상이 되도록 하는 타이밍발생기;를 포함하며,
    상기 위상비교기는,
    클럭입력단이 상기 전원신호를 수신하고 리셋입력단이 리셋신호를 수신함으로써, 상기 위상비교신호 중 제1위상비교신호가 발생하는 제1플립플롭(flip-flop);
    클럭입력단이 상기 수직동기신호를 수신하고 리셋입력단이 상기 리셋신호를 수신함으로써, 상기 위상비교신호 중 제2위상비교신호가 발생하는 제2플립플롭; 및
    상기 제1위상비교신호와 상기 제2위상비교신호를 수신함으로써 상기 리셋신호를 발생하고, 상기 제1위상비교신호와 상기 제2위상비교신호가 상기 전원신호와 상기 수직동기신호 간의 위상관계를 반영하며, 상기 전원신호의 위상이 상기 수직동기신호의 위상보다 앞서면 상기 제1위상비교신호는 제1펄스를 가지고, 상기 전원신호의 위상이 상기 수직동기신호의 위상보다 뒤처지면 상기 제2위상비교신호는 제2펄스를 가지는 NAND 게이트;를 포함하는 것을 특징으로 하는 영상-클럭을 조정하는 회로.
  3. 수신된 전원신호와 수직동기신호의 위상을 비교하고, 적어도 하나의 위상비교신호가 발생하는 위상비교기;
    상기 위상비교신호와 상기 수직동기신호를 수신함으로써, 발생한 화소클럭신호의 제1클럭폭을 조정하는 클럭제어기; 및
    상기 화소클럭신호를 수신함으로써, 발생한 수직동기신호를 미세 조정하고 상기 수직동기신호와 상기 전원신호를 동일위상이 되도록 하는 타이밍발생기;를 포함하며,
    상기 클럭제어기는 인덱스 변수와 상기 인덱스 변수의 변화가능구간을 미리 설정하고, 초기상태로 상기 인덱스 변수의 값을 상기 변화가능구간의 중간점으로 설정하며,
    상기 클럭제어기는 상기 위상비교신호를 분석하고, 취득된 상기 전원신호와 상기 수직동기신호의 위상관계에 의거하여 상기 인덱스 변수의 값을 조정하고,
    상기 클럭제어기는 상기 인덱스 변수의 값을 이용하고, 발생한 화소클럭신호의 제1클럭폭을 조정하는 것을 특징으로 하는 영상-클럭을 조정하는 회로.
  4. 수신된 전원신호와 수직동기신호의 위상을 비교하고, 적어도 하나의 위상비교신호가 발생하는 위상비교기;
    상기 위상비교신호와 상기 수직동기신호를 수신함으로써, 발생한 화소클럭신호의 제1클럭폭을 조정하되, 메인클럭신호을 수신하고 상기 메인클럭신호의 주기를 참고함으로써, 상기 제1클럭폭을 조정하는 클럭제어기;
    영상픽업제어신호가 발생하고, 상기 화소클럭신호를 수신함으로써, 발생한 수직동기신호를 미세 조정하고 상기 수직동기신호와 상기 전원신호를 동일위상이 되도록 하는 타이밍발생기;
    영상픽업신호와 상기 화소클럭신호를 수신함으로써 영상 후처리신호가 발생하는 컬러 영상처리기; 및
    상기 영상 후처리신호, 상기 메인클럭신호 및 상기 화소클럭신호를 수신함으로써 표시구동신호가 발생하는 텔레비전 코더를 포함하는 것을 특징으로 하는 영상-클럭을 조정하는 회로.
  5. 수신된 전원신호와 수직동기신호의 위상을 비교하고, 적어도 하나의 위상비교신호가 발생하는 위상비교기;
    상기 위상비교신호와 상기 수직동기신호를 수신함으로써, 발생한 화소클럭신호의 제1클럭폭을 조정하는 클럭제어기; 및
    상기 화소클럭신호를 수신함으로써, 발생한 수직동기신호를 미세 조정하고 상기 수직동기신호와 상기 전원신호를 동일위상이 되도록 하는 타이밍발생기;를 포함하며,
    상기 화소클럭신호는 화면을 제어하는 순환주사에 이용되고,
    상기 클럭제어기는 상기 화면의 적어도 하나의 서브블랭킹 영역이 대응하는 적어도 하나의 블랭킹 클럭 구간에서, 발생한 화소클럭신호의 제1클럭폭을 조정하며,
    상기 수직동기신호와 상기 화면의 필드 표시는 동일한 주파수를 가지며,
    상기 수직동기신호는 상기 위상비교기와 상기 클럭제어기로 피드백되는 것을 특징으로 하는 영상-클럭을 조정하는 회로.
  6. 삭제
  7. (a) 전원신호와 수직동기신호의 위상을 비교함으로써 적어도 하나의 위상비교신호가 발생하는 단계;
    (b) 상기 위상비교신호와 상기 수직동기신호를 이용하고, 발생한 화소클럭신호의 제1클럭폭을 조정하는 단계; 및
    (c) 상기 화소클럭신호의 미세 조정을 이용하고, 발생한 수직동기신호에 의해 상기 수직동기신호와 상기 전원신호를 동일위상이 되도록 하는 단계;를 포함하며,
    상기 (a)단계에서,
    상기 위상비교신호는 제1위상비교신호와 제2위상비교신호를 포함하고,
    상기 전원신호의 위상이 상기 수직동기신호의 위상보다 앞서면 상기 제1위상비교신호는 제1펄스를 가지며,
    상기 전원신호의 위상이 상기 수직동기신호의 위상보다 뒤처지면 상기 제2위상비교신호는 제2펄스를 가지는 것을 특징으로 하는 영상-클럭을 조정하는 방법.
  8. (a) 전원신호와 수직동기신호의 위상을 비교함으로써 적어도 하나의 위상비교신호가 발생하는 단계;
    (b) 상기 위상비교신호와 상기 수직동기신호를 이용하고, 발생한 화소클럭신호의 제1클럭폭을 조정하는 단계; 및
    (c) 상기 화소클럭신호의 미세 조정을 이용하고, 발생한 수직동기신호에 의해 상기 수직동기신호와 상기 전원신호를 동일위상이 되도록 하는 단계;를 포함하며,
    상기 (b)단계는,
    (b1) 상기 위상비교신호를 분석하고, 취득된 상기 전원신호와 상기 수직동기신호의 위상관계에 의거하여 인덱스 변수의 값을 조정하는 단계;
    (b2) 상기 인덱스 변수의 값과 화면의 순환주사규격에 의거하여, 상기 화면의 적어도 하나의 서브블랭킹 영역이 대응하는 적어도 하나의 블랭킹 클럭 구간에서, 상기 화소클럭신호의 제1클럭폭을 조정하는 단계;를 포함하며,
    상기 전원신호의 위상이 상기 수직동기신호의 위상보다 앞서면 상기 인덱스 변수의 값을 감소시키고, 상기 전원신호의 위상이 상기 수직동기신호의 위상보다 뒤처지면 상기 인덱스 변수의 값을 증가시키며,
    상기 (b)단계는,
    상기 인덱스 변수와 상기 인덱스 변수의 변화가능구간을 미리 설정하는 단계;
    초기상태로 상기 인덱스 변수의 값을 상기 변화가능구간의 중간점으로 설정하는 단계; 및
    메인클럭신호의 주기를 참고하여 상기 제1클럭폭을 조정하는 단계;를 포함하는 것을 특징으로 하는 영상-클럭을 조정하는 방법.
  9. 제8항에 있어서,
    상기 (b2)단계에서, 상기 서브블랭킹 영역은 우상부 서브블랭킹 영역과, 우중부 서브블랭킹 영역과, 우하부 서브블랭킹 영역을 포함하고,
    상기 (b2)단계는,
    (b21) 상기 인덱스 변수의 값에 의거하여, 상기 우상부 서브블랭킹 영역과 상기 우하부 서브블랭킹 영역 중에서 적어도 하나의 제1화소를 선택하고, 상기 화소클럭신호 중 상기 제1화소가 대응하는 클럭의 제2클럭폭을 조정하는 단계;를 포함하는 것을 특징으로 하는 영상-클럭을 조정하는 방법.
  10. 제8항에 있어서,
    상기 (b2)단계에서, 상기 서브블랭킹 영역은 우상부 서브블랭킹 영역과, 우중부 서브블랭킹 영역과, 우하부 서브블랭킹 영역을 포함하고,
    상기 (b2)단계는,
    (b21) 상기 인덱스 변수의 값에 의거하여, 행을 단위로 하여 상기 우상부 서브블랭킹 영역, 상기 우중부 서브블랭킹 영역 및 상기 우하부 서브블랭킹 영역(625) 중 적어도 하나의 제2화소를 선택하고, 상기 화소클럭신호 중 상기 제2화소가 대응하는 클럭의 제3클럭폭을 조정하는 단계; 및
    (b22) 상기 (b21)단계에서 아직 처리되지 않은 잉여변동값에 대하여 상기 우상부 서브블랭킹 영역 및 상기 우하부 서브블랭킹 영역 중에서 적어도 하나의 제3화소를 선택하고, 상기 화소클럭신호 중 상기 제3화소가 대응하는 클럭의 제4클럭폭을 조정하는 단계;를 포함하는 것을 특징으로 하는 영상-클럭을 조정하는 방법.
  11. 삭제
KR1020080023373A 2007-06-15 2008-03-13 영상-클럭을 조정하는 회로 및 방법 KR100961046B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW096121955A TWI336201B (en) 2007-06-15 2007-06-15 Circuit and method for regulating image clock
TW096121955 2007-06-15

Publications (2)

Publication Number Publication Date
KR20080110459A KR20080110459A (ko) 2008-12-18
KR100961046B1 true KR100961046B1 (ko) 2010-06-01

Family

ID=40131936

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080023373A KR100961046B1 (ko) 2007-06-15 2008-03-13 영상-클럭을 조정하는 회로 및 방법

Country Status (4)

Country Link
US (1) US8314885B2 (ko)
JP (1) JP2008312192A (ko)
KR (1) KR100961046B1 (ko)
TW (1) TWI336201B (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200630852A (en) * 2005-02-24 2006-09-01 Sonix Technology Co Ltd Image output and input systems
TWI583187B (zh) * 2013-07-30 2017-05-11 聯詠科技股份有限公司 資料處理方法及裝置
TW201519208A (zh) 2013-11-01 2015-05-16 Novatek Microelectronics Corp 顯示器驅動裝置及顯示器驅動方法
US10156098B2 (en) * 2013-12-13 2018-12-18 Halliburton Energy Services, Inc. Fiber-reinforced tools for downhole use
TWI556647B (zh) * 2014-08-08 2016-11-01 恆景科技股份有限公司 影像感測器的可調適降低功率消耗的方法
US9552908B2 (en) 2015-06-16 2017-01-24 National Cheng Kung University Chip resistor device having terminal electrodes
KR102576753B1 (ko) * 2016-11-18 2023-09-08 삼성디스플레이 주식회사 표시 장치 및 표시 장치의 구동 방법
TWI797401B (zh) * 2019-12-05 2023-04-01 新唐科技股份有限公司 控制電路及其控制方法
TWI733373B (zh) * 2020-03-16 2021-07-11 瑞昱半導體股份有限公司 影像播放系統及其具有同步資料傳輸機制的影像資料傳輸裝置及方法
CN113452934B (zh) * 2020-03-26 2024-02-13 瑞昱半导体股份有限公司 图像播放系统及其具有同步数据传输机制的图像数据传输装置及方法
CN112511718B (zh) * 2020-11-24 2023-11-28 深圳市创凯智能股份有限公司 采样时钟的同步方法、终端设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189172A (ja) 2001-12-18 2003-07-04 Sony Corp 撮像装置及びその露光制御方法
JP2003209743A (ja) 2002-01-16 2003-07-25 Sanyo Electric Co Ltd カメラシステム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5219940A (en) * 1975-08-06 1977-02-15 Nec Corp In-phase signal generating system
US4686673A (en) * 1984-02-15 1987-08-11 Toshinori Hotta Synchronizing burst transmission phase control system
JPH01125120A (ja) * 1987-11-10 1989-05-17 Seiko Epson Corp 位相比較器
US5144156A (en) * 1990-06-15 1992-09-01 Seiko Epson Corporation Phase synchronizing circuit with feedback to control charge pump
JP3021747B2 (ja) * 1991-04-26 2000-03-15 松下電器産業株式会社 Pll回路
BE1007211A5 (nl) * 1993-06-10 1995-04-25 Barco Werkwijze en inrichting voor het converteren van een beeld.
JP3091630B2 (ja) * 1994-03-22 2000-09-25 三洋電機株式会社 ビデオカメラ
US5491673A (en) * 1994-06-02 1996-02-13 Advantest Corporation Timing signal generation circuit
JP2000032352A (ja) * 1998-07-13 2000-01-28 Sharp Corp ビデオカメラ装置
US6107890A (en) * 1999-05-05 2000-08-22 Nortel Networks Corporation Digital phase comparator and frequency synthesizer
US20050200704A1 (en) * 2002-03-05 2005-09-15 Toshiaki Kodake Imager and stripe noise removing method
WO2003105488A1 (ja) * 2002-06-06 2003-12-18 ソニー株式会社 画像処理回路、画像処理方法、及びカメラ装置
JP3908606B2 (ja) * 2002-06-19 2007-04-25 三菱電機株式会社 撮像装置、撮像方法及びそれらを備える携帯端末装置
JP2004140767A (ja) * 2002-10-16 2004-05-13 Honda Motor Co Ltd イメージセンサ
JP2005354292A (ja) 2004-06-09 2005-12-22 Sony Corp 撮像装置、撮像方法
US20060164366A1 (en) * 2005-01-24 2006-07-27 Beyond Innovation Technology Co., Ltd. Circuits and methods for synchronizing multi-phase converter with display signal of LCD device
TW200630852A (en) * 2005-02-24 2006-09-01 Sonix Technology Co Ltd Image output and input systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189172A (ja) 2001-12-18 2003-07-04 Sony Corp 撮像装置及びその露光制御方法
JP2003209743A (ja) 2002-01-16 2003-07-25 Sanyo Electric Co Ltd カメラシステム

Also Published As

Publication number Publication date
KR20080110459A (ko) 2008-12-18
JP2008312192A (ja) 2008-12-25
US20080309818A1 (en) 2008-12-18
TWI336201B (en) 2011-01-11
US8314885B2 (en) 2012-11-20
TW200849972A (en) 2008-12-16

Similar Documents

Publication Publication Date Title
KR100961046B1 (ko) 영상-클럭을 조정하는 회로 및 방법
EP1276317B1 (en) Method for driving solid-state imaging device and camera
JP3826904B2 (ja) 撮像装置およびフリッカ低減方法
US9148581B2 (en) Multi-function control illumination device
RU2627933C2 (ru) Устройство захвата изображения и способ управления им
CN108462837B (zh) 拍摄方法及装置
JP3375557B2 (ja) 映像信号処理装置
JP2005086423A (ja) 撮影環境判定方法および撮像装置
EP3402179B1 (en) Image-capturing system, image-capturing method, and program
KR20060128649A (ko) 화상 처리 장치 및 촬상 장치
JP2011155396A (ja) 撮像装置
US5909246A (en) Image sensing device and method of adjusting quantity of light
US7133075B2 (en) Image capturing apparatus and method for reducing a flicker effect
JP2004088720A (ja) カメラシステム
JPH11164192A (ja) 撮像方法及び装置
JP2011176622A (ja) 撮像装置
KR101475468B1 (ko) 적외선 led 카메라 시스템
JP2000032352A (ja) ビデオカメラ装置
KR101590811B1 (ko) 씨모스 롤링셔터 방식 감시카메라용 조광 시스템
JP4969336B2 (ja) カメラおよびカメラを用いた監視装置
KR20060093234A (ko) 주변조명밝기 조절장치
KR100809286B1 (ko) 감시카메라 영상 신호 처리장치
KR101613605B1 (ko) 내방사선 특성을 갖는 컬러 카메라의 영상 제어 시스템
JP2006165829A (ja) 固体撮像素子の駆動方法、固体撮像素子の信号処理装置および撮像装置
JPH10136267A (ja) 画像入力方法および画像入力装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130425

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140513

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150511

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160512

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180521

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190521

Year of fee payment: 10