KR100996995B1 - Ｇｐｕ 사용 방법 및 장치 - Google Patents

Ｇｐｕ 사용 방법 및 장치 Download PDF

Info

Publication number
KR100996995B1
KR100996995B1 KR1020087011121A KR20087011121A KR100996995B1 KR 100996995 B1 KR100996995 B1 KR 100996995B1 KR 1020087011121 A KR1020087011121 A KR 1020087011121A KR 20087011121 A KR20087011121 A KR 20087011121A KR 100996995 B1 KR100996995 B1 KR 100996995B1
Authority
KR
South Korea
Prior art keywords
image data
pixel values
detector
pixel value
correction factor
Prior art date
Application number
KR1020087011121A
Other languages
English (en)
Other versions
KR20080056004A (ko
Inventor
마티아스 엠. 울로카
Original Assignee
엔비디아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔비디아 코포레이션 filed Critical 엔비디아 코포레이션
Publication of KR20080056004A publication Critical patent/KR20080056004A/ko
Application granted granted Critical
Publication of KR100996995B1 publication Critical patent/KR100996995B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Debugging And Monitoring (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

렌더링된 이미지의 품질을 증가시키기 위해 이미지 데이터를 프로세싱하기 위한 GPU(graphics processing unit)를 통합하는 장치(예를 들어, 디지털 카메라를 통합하는 셀폰)가 설명된다. GPU에 의해 제공되는 프로세싱 능력은, 예를 들어, 수용 불가능한 픽셀값(예를 들어, 오작동 또는 죽은 검출기 구성 요소와 연관된 픽셀값)이 식별되어, 다른 픽셀값을 평균하는 것에 의해 판정되는 새로운 값으로 대체될 수 있다는 것을 의미한다. 또한, 예를 들어, 장치는 검출기 구성 요소 각각을 위한 정정 팩터를 발생시키기 위해 벤치마크 데이터에 대하여 캘리브레이션될 수 있다. 정정 팩터는 각 픽셀 단위로 이미지 데이터에 적용될 수 있다. 장치가 디지털 오디오 파일도 기록 및/또는 플레이하도록 적응되는 경우라면, 장치의 오디오 성능이 캘리브레이션되어 오디오 주파수의 범위에 대한 정정 팩터를 판정할 수 있다.
이미지 데이터 프로세싱, GPU, 정정 팩터, 수용 불가능한 픽셀값, 검출기 구성 요소, 벤치마크 데이터, 캘리브레이션

Description

ＧＰＵ 사용 방법 및 장치 {GRAPHICS PROCESSING UNIT USE AND DEVICE}
여기에서 설명되는 실시예는 일반적으로, 디지털 이미지 데이터 및 디지털 오디오 데이터를 포함하는, 데이터의 프로세싱에 관한 것이다. 이 기재는 GPU(graphics processing unit)를 사용해 비디오 및 오디오 데이터를 정정하는 것을 개시한다.
흔히 셀폰(cell phones)으로서 공지되어 있는, 당대의 무선 전화기는 디지털 카메라와 같은 새로운 다수 사양을 통합한다. 그러나, 그러한 "카메라폰"을 사용해 촬영되는 사진의 품질은, 좀더 작고 가벼운 장치를 위한 소비자의 선호도에 의해 유도되는 비용, 무게, 및 사이즈에 대한 제약 사항에 의해 타협된다. 제조자는, 고품질의 렌즈 또는 검출기 어레이와 같은, 고품질의 카메라 컴포넌트를 사용하는 것에 의해 사진 품질을 증가시킬 수 있다. 그러나, 제조자는 고품질 컴포넌트의 높은 비용을 커버하기 위해 제조자의 제품 가격을 높여야 하거나, 증가된 비용을 상쇄시키고 현재의 가격을 유지하기 위해 다른 사양의 수를 감소시켜야 하는데, 어떤 경우에서든, 제조자는 경쟁에서 불리한 입장에 처하게 된다.
더 나아가, 카메라폰에 포함된 사진-촬영 컴포넌트의 품질과 상관없이, 그러한 컴포넌트는 시간에 따라, 사진 품질을 감소시키면서, 열화할 수 있다. 예를 들어, 카메라폰은 CCD(charged coupled device) 또는 CMOS(complementary metal-oxide semiconductor) 장치와 같은 검출기 어레이를 사용해 이미지를 캡처(capture)한다. 픽셀과 등가인 검출기 구성 요소는 반복되는 사용에 따라, 캡처된 이미지 데이터에서 그리고 그에 따른 렌더링된 이미지에서 데드 스팟(dead spot)을 초래하면서, 장애가 발생하거나 열화할 수 있다. 사용자는 저품질 이미지를 수용하거나 새로운 카메라폰을 구매해야 하는 상황을 직면하게 된다.
죽거나 열화된 검출기 구성 요소(dead or degraded detector element)는 제조 프로세스 동안 이루어지는 품질 점검의 결과로서 검출될 수도 있다. 통상적으로, 검출기 어레이가 장애가 발생되거나 열화된 검출기 구성 요소를 지나치게 많이 포함하고 있으면, 그것은 제조자에 의해 파기된다. 품질 점검을 통과하지 못한 컴포넌트, 특히, 아슬아슬하게 통과하지 못한 컴포넌트를 파기하는 것은 제조 비용 및 그에 따른 제품 가격을 상승시킬 수 있다.
<발명의 요약>
따라서, 가격, 무게, 또는 사이즈에서의 상응하는 증가없이, 카메라폰과 같은 장치에서의 사진 품질을 향상시킬 수 있는 장치 및/또는 방법이 바람직할 것이다. 이러한 이점을 실현하며 시간에 걸친 컴포넌트 열화를 보상할 수 있는 장치 및/또는 방법은 추가적 이점을 가질 것이다. 상기한 그리고 좀더 낮은 파기율(discard rates)을 실현할 수 있는 장치 및/또는 방법도 추가적 이점을 가질 것이다. 본 발명에 따른 실시예는 이러한 이점 및 다른 이점을 제공한다.
개략적으로, 본 발명에 따른 실시예는 GPU를 통합하는, 카메라폰과 같은 그러나 그것으로 제한되는 것은 아닌, 핸드헬드 장치에 관한 것이다. 일 실시예에서, GPU는, 제조 결함, 저비용 컴포넌트의 사용, 또는 시간에 걸친 컴포넌트의 열화로부터 초래되는 사진 품질의 손실을 정정하거나 보상하기 위해, 이미지 데이터를 포스트-프로세싱(post-processing)하는데 사용된다.
일 실시예에서는, 이미지 데이터의 제1 프레임을 구비하는 제1 복수개 픽셀값이 검출기 구성 요소의 어레이를 사용해 캡처된다. 본 발명의 실시예에 따르면, 픽셀값은 GPU에 의해 프로세싱되어 수용 불가능한 임의 픽셀값, 예를 들어, 명백하게 죽은 또는 그렇지 않다면 오작동하는 검출기 구성 요소에 대응되는 픽셀값을 식별한다. 수용 불가능한 픽셀값의 식별시에, GPU는 그 픽셀을 위한 새로운 값을 판정한다. 일 실시예에서, 새로운 값은 죽은 또는 오작동하는 검출기 구성 요소에 인접한 검출기 구성 요소에 연관된 픽셀값을 평균하는 것에 의해 판정된다.
그러한 일 실시예에서, GPU는 제1 복수개 픽셀값을 제2 복수개 픽셀값과 비교하는 것에 의해 수용 불가능한 픽셀값을 식별하는데, 제2 복수개 픽셀값은 제1 프레임을 시간 순으로 정렬되어 뒤따르는 후속 프레임인 이미지 데이터의 제2 프레임을 구비한다. 동일한 검출기 구성 요소에 대응되는 픽셀값이 제1 프레임에서 제2 프레임까지 동일하다면, 그 픽셀값은 잠재적으로 수용 불가능한 픽셀값인 것으로 식별된다.
그러한 다른 실시예에서, 픽셀값은, 이미지 데이터의 새로운 프레임 각각이 획득됨에 따라, 상술된 것과 유사한 방식으로, 이미지 데이터의 연속적인 프레임에 걸쳐 실시간으로 비교된다. 카운터가 각각의 검출기 구성 요소와 연관된다. 카운터의 값은, 동일한 검출기 구성 요소에 대응되는 픽셀값이 각 쌍의 연속 프레임에 걸쳐 동일할 때마다 증가된다. 카운터 값이 임계값을 초과하면, 그러한 검출기 구성 요소에 대응되는 픽셀값은 수용 불가능한 것으로 간주된다. 동일한 검출기 구성 요소에 대응되는 픽셀값이 일 프레임에서 후속 프레임으로 변화할 때마다, 카운터 값은 0으로 리셋된다.
다른 실시예에서는, 수용 불가능한 픽셀값의 이웃이 식별되면(예를 들어, 인접한 오작동 검출기 구성 요소와 연관된 픽셀값의 그룹이 식별되면), 다중-통과(multi-pass) 프로세스가 사용되어 새로운 픽셀값을 판정한다. 각각의 통과에서, 다른 픽셀값을 평균하는 것에 의해 적어도 하나의 새로운 픽셀값이 판정되고, 그러한 새로운 픽셀값은 후속 통과에서 또 다른 픽셀값을 판정하는데 사용될 수 있다. 이런 식으로, 그 검출기 구성 요소가 다른 죽은 또는 오작동 검출기 구성 요소에 의해서만 둘러싸여 있는 경우라 하더라도, 임의 검출기 구성 요소에 대응되는 픽셀값이 판정될 수 있다.
또 다른 실시예에서는, 오작동 프로세스 동안, 예를 들어, 카메라폰이 벤치마크 이미지(benchmark images)에 대하여 캘리브레이션되어, 사진-촬영 컴포넌트에서의 변화에 의해 도입되는 임의 효과를 정량화한다. 예를 들어, 렌즈에서의 허점은 이미지 데이터를 왜곡할 수 있다. 정정 팩터가 어레이의 검출기 구성 요소 각각을 위해 판정되어, 예를 들어, 룩업 테이블(lookup table; LUT)에 저장될 수 있다. 그러한 실시예에서, GPU는 LUT로부터 검출기 구성 요소와 연관된 정정 팩터를 판독하고 그 정정 팩터를 그러한 검출기 구성 요소에 대응되는 픽셀값에 적용한다. 이런 식으로, 색수차(chromatic aberrations) 및 기하학적 왜곡과 같은 그러나 그 것으로 제한되는 것은 아닌, 효과가 이미지 데이터에서 정정될 수 있다.
또 하나의 실시예에서, 오디오 데이터는 기록 또는 재생 컴포넌트에 의해 도입될 수 있는 변화를 보상하도록 정정된다. 예를 들어, 제조 프로세스 동안, 진폭에서의 소정 이상치(ideal)로부터의 변화는 오디오 주파수의 범위에 걸쳐 정량화될 수 있다. 이 정보를 사용하면, 주파수의 함수로서의 정정 팩터가, 예를 들어, LUT에 저장된 다음 기록 또는 재생 동안 GPU에 의해 오디오 데이터에 적용될 수 있다.
요컨대, 본 발명의 실시예에 따르면, 카메라폰, 오디오 플레이어, 및 유사한 장치 유형에서의 GPU가, 장치의 비용, 무게, 또는 사이즈를 상응하여 증가시키지 않으면서, 이미지 또는 오디오 데이터의 품질을 향상시키는데 사용될 수 있다. 실제로, GPU를 이런 식으로 사용하는 것이 순원가(net cost) 절감을 초래할 수 있는데, 사진 또는 음향 품질에 영향을 미치지 않으면서, 저품질, 저비용 컴포넌트가 사용될 수 있기 때문이다. 다시 말해, GPU가, 존재한다면, 저품질/저비용 컴포넌트에 의해 도입될 수 있는 효과를 보상할 수 있고, 그에 따라, 전반적인 품질은 고품질, 고비용 컴포넌트를 사용해 실현될 수 있었던 것과 사실상 구별 불가능하다.
비용은 소정 컴포넌트의 파기율을 감소시키는 것에 의해 좀더 감소될 수 있다. 예를 들어, 제조하는 동안, 검출기 어레이가 소정 갯수의 결함 구성 요소를 갖는 것으로 판정되면, 어레이가 반드시 파기될 필요는 없는데, GPU가 결함 구성 요소를 보상할 수 있기 때문이다. 본질적으로, GPU에 의해 제공되는 추가 역량은, 검출기 어레이와 같은 컴포넌트에서 좀더 많은 결함이 허용될 수 있다는 것을 의미한다. 파기율이 저하되기 때문에, 제조 비용 및 궁극적으로 소비자에 대한 비용이 감소될 수 있다. 유사한 맥락으로, 예를 들어, 검출기 어레이가 열화하기 시작한다 하더라도, 장치가 반드시 교체될 필요는 없기 때문에, 소비자에 대한 비용이 감소된다. 대신에, GPU가 검출기 어레이의 열화에 의해 도입되는 이미지 데이터의 어떤 손실도 보상할 수 있다. 결과적으로, 렌더링된 이미지의 품질이 영향을 받기 전에, 장치의 수명을 연장하면서, 좀더 많은 갯수의 장애 검출기 구성 요소가 허용될 수 있다.
당업자라면, 다양한 도면으로 예시되는 실시예에 대한 다음의 상세한 설명을 판독한 후에, 본 발명의 다양한 실시예에 대한 이러한 태양 및 다른 태양과 시도되는 이점을 알 수 있을 것이다.
이 명세서에 통합되어 이 명세서의 일부를 형성하는 첨부 도면은 본 발명의 실시예를 예시하고, 설명서와 함께, 본 발명의 원리를 설명하는 역할을 한다.
도 1은 본 발명에 따른 실시예가 구현될 수 있는 핸드헬드 장치의 일례의 블록도이다.
도 2는, 본 발명의 일 실시예에 따른, 이미지 프레임에서의 픽셀 및 픽셀값으로의 검출기 어레이에서의 검출기 구성 요소의 매핑을 예시한다.
도 3은, 본 발명의 일 실시예에 따른, 이미지 데이터의 연속 프레임 및 카운터를 예시한다.
도 4는 본 발명에 따른 검출기 어레이의 일 실시예에서의 장애 검출기 구성 요소의 그룹을 예시한다.
도 5는, 본 발명의 일 실시예에 따른, 이미지 캡처 장치를 캘리브레이션하기 위한 프로세스의 일례를 예시한다.
도 6은, 본 발명의 일 실시예에 따른, 오디오 장치를 캘리브레이션하기 위한 프로세스의 일례를 예시한다.
도 7은, 본 발명의 일 실시예에 따른, GPU에 의해 이미지 데이터를 프로세싱하는데 사용되는 컴퓨터-구현 방법의 흐름도이다.
도 8은, 본 발명의 다른 실시예에 따른, GPU에 의해 이미지 데이터를 프로세싱하는데 사용되는 컴퓨터-구현 방법의 흐름도이다.
도 9는, 본 발명의 일 실시예에 따른, GPU에 의해 오디오 데이터를 프로세싱하는데 사용되는 컴퓨터-구현 방법의 흐름도이다.
이하에서는, 그것의 일례가 첨부 도면으로 예시되는, 본 발명의 다양한 실시예를 상세하게 참조할 것이다. 이 실시예와 관련하여 발명이 설명되겠지만, 발명을 이 실시예로 제한하기 위한 것은 아니라는 것을 이해할 수 있을 것이다. 오히려, 본 발명은, 첨부된 청구항에 의해 정의되는 본 발명의 정신 및 범위내에 포함될 수 있는, 대안, 변경, 및 등가물을 커버하기 위한 것이다. 더 나아가, 본 발명에 대한 다음의 상세한 설명에서는, 본 발명에 대한 완전한 이해를 제공하기 위해 다수의 특정 세부 사항이 기술된다. 그러나, 이러한 특정 세부 사항없이도 본 발명이 실시될 수 있다는 것을 이해할 수 있을 것이다. 다른 경우로서, 본 발명의 태양을 쓸데없이 불명료하게 하지 않기 위해, 주지의 방법, 절차, 컴포넌트, 및 회로는 상세하게 설명되지 않았다.
수반되는 상세한 설명의 일부 부분은 절차, 논리 블록, 프로세싱, 및 컴퓨터 메모리내의 데이터 비트에 대한 동작의 다른 기호 표현(symbolic representations)의 관점에서 제시된다. 이 설명 및 표현은 데이터 프로세싱 업계의 당업자에 의해 그들의 작업을 업계의 다른 기술자에게 가장 효과적으로 전달하는데 사용되는 수단이다. 본 출원에서, 절차, 논리 블록, 프로세스 등은 소정 결과를 이끌어내는 단계 또는 명령어의 자체 모순없는(self-consistent) 시퀀스인 것으로 생각된다. 단계는 물리량의 물리적 조작을 이용하는 것이다. 반드시 그래야 하는 것은 아니지만, 일반적으로, 이 양은 저장될 수 있고, 전송될 수 있으며, 조합될 수 있고, 비교될 수 있으며, 그렇지 않다면, 컴퓨터 시스템으로 조작될 수 있는 전기 또는 자기 신호의 형태를 취한다. 대체로 일반적인 용도의 이유로, 때로는, 이 신호를 트랜잭션, 비트, 값, 구성 요소, 심볼, 캐릭터, 샘플, 픽셀 등으로 부르는 것이 편리하다는 것이 입증되었다.
그러나, 이 용어 및 유사한 용어 모두는 적합한 물리량과 연관될 것이라는 것과 이러한 양에 적용되는 편리한 레이블(convenient labels)일 뿐이라는 것을 명심해야 한다. 다음의 논의로부터 명백한 바와 특별히 다르게 기술되지 않는다면, 본 발명 전체에 걸쳐, "발생시키는", "저장하는", "디스플레이하는", "식별하는", "판정하는", "평균하는", "비교하는", "증분하는", "설정하는", "선택하는", "송신하는", "수신하는", "적용하는", "조정하는", "액세스하는" 등과 같은 용어를 이용하는 논의는 컴퓨터 시스템이나 유사한 전자 컴퓨팅 장치 또는 프로세서의 액션 및 프로세스(예를 들어, 각각, 도 7, 도 8, 및 도 9의 흐름도(70, 80, 및 90))를 의미한다는 것을 알 수 있을 것이다. 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 장치는, 컴퓨터 시스템 메모리 또는 레지스터내에서 또는 그러한 정보의 다른 저장 장치, 송신 장치, 또는 디스플레이 장치내에서 물리(전자)량으로서 표현되는 데이터를 조작하고 변환한다.
도 1은, 본 발명에 따른 실시예가 구현될 수 있는 핸드헬드 장치(10)의 일례의 블록도이다. 도 1의 일례에서, 장치(10)는 소정의 기능 블록을 갖는 것으로서 설명된다. 장치(10)는 여기에서 설명된 것 이외의 기능성을 포함할 수 있다는 것을 이해할 수 있을 것이다.
일 실시예에서, 장치(10)는, 디지털 카메라 또는 디지털 비디오 레코더를 통합하는 무선 전화기 또는 셀폰이다. 다른 실시예에서, 장치(10)는 오디오 레코더 및 플레이어(예를 들어, MP3 플레이어)를 통합하는 셀폰이다. 또 다른 실시예에서, 장치(10)는 디지털 카메라 또는 디지털 비디오 레코더 및 오디오 레코더/플레이어 양자를 통합하는 셀폰이다. 장치(10)는 디지털 카메라 또는 오디오 레코더/플레이어일 수도 있다. 장치(10)는 방금 설명된 것 이외의 사양 또는 기능성을 포함할 수 있다. 예를 들어, 장치(10)는 비디오 게임 플레이어 콘솔 또는 원격 제어 장치일 수도 있다.
셀폰 및 디지털 카메라를 포함하는 실시예에서, 장치(10)는 CCD(charged coupled device) 이미저(imager) 또는 CMOS(complementary metal-oxide semiconductor) 이미저일 수 있는 이미지 캡처 장치(11;예를 들어, 검출기 또는 센서 어레이)를 포함한다. 이미지 캡처 장치(11)는 렌즈 및 다른 서브 컴포넌트를 포함할 수 있다.
본 실시예에서, 장치(10)는, 이미지 데이터의 프로세싱 이전에, 이미지 데이터의 프로세싱 동안에, 그리고 이미지 데이터의 프로세싱 이후에, 그 데이터를 저장하는 메모리(14)도 포함한다. 메모리(14)는 ROM(read-only memory) 및 플래시 메모리를 포함할 수 있다.
일 실시예에서, 장치(10)는 캡처되어 이미지 데이터로써 표현되는 이미지를 디스플레이하기 위한 그리고 메뉴 및 명령을 사용자 인터페이스의 일부로서 디스플레이하기 위한 디스플레이(13)도 포함한다. 이미지 데이터는 "스틸" 사진을 표현할 수 있다. 이미지 데이터는 비디오 또는 영화를 표현할 수도 있는데, 비디오는 사실상 스틸 이미지의 시퀀스이기 때문이다.
셀폰으로서, 장치(10)는 무선 송신기(16) 및 무선 수신기(17)를 포함한다. 사용자는 마이크로폰(18)쪽으로 발화하고, 메시지는 무선 송신기(16)를 통해 송신되는 신호로 변환된다. 무선 수신기(17)를 통해 수신된 메시지는 스피커(19)를 통해 사용자에게 들릴 수 있게 되고 사용자에게로 브로드캐스트된다. 셀폰으로서, 장치(10)는 별도의 디지털 신호 프로세서(9)도 포함할 수 있다. 장치(10)는, 아날로그-디지털 컨버터(analog-to-digital converter)와 같은, 여기에서 설명되지는 않았지만 업계에 공지되어 있는 다른 셀폰 컴포넌트를 포함할 수 있다.
장치(10)가 오디오 레코더/플레이어도 포함하는 실시예에서, 오디오 파일은 메모리(14)에 저장될 수 있고 스피커(19)를 사용해 들릴 수 있게 된다.
장치(10)는 여기에서 설명되는 이미지 데이터 및 오디오 데이터 프로세싱 방법을 구현하는데 필요한 하드웨어, 소프트웨어, 및/또는 펌웨어를 포함하는 GPU(12)도 포함한다. 선택적으로, 장치(10)는 GPU(12)와 병렬로 동작하는 CPU(central processing unit;15)도 포함한다.
VPU(video processing unit)라고도 할 수 있는 GPU(12)는, 다음에서 부연되는, 다양한 전자 게임 및 다른 애플리케이션에서 관심을 끄는 그래픽 이미지의 조작 및 렌더링에 아주 효율적인 마이크로프로세서이다. GPU(12)는, 그것을 통해 픽셀 데이터가 통과하는 파이프라인으로서 생각될 수 있다. GPU(12)는, 소프트웨어 애플리케이션과 같은, 호스트로부터 명령어 및 데이터(예를 들어, 그래픽 프리미티브)를 수신한다. 데이터는 발생되고 디스플레이될 이미지를 정의하는데 사용된다. 명령어는 데이터를 변경하여 렌더링된 이미지를 발생시키는데 필요한 계산 및 동작을 특정하는데 사용된다.
GPU(12)의 특수한 특징이 이미지 또는 오디오 데이터를 프로세싱하는 것과 관련된 일련의 복잡한 프로세스를 핸들링함에 있어서 GPU(12)를 CPU(15)보다 좀더 효과적이게 한다. 본 발명의 실시예에 따르면, 이미지(예를 들어, 픽셀) 또는 오디오 데이터는 GPU(12)의 파이프라인에 삽입될 수 있는데, 이미지 또는 오디오 데이터는 그 데이터를 프로세싱하는 방법에 관한 명령어와 함께 제공된다. GPU(12)에 의해 수행되는 프로세싱 유형은 도 3 내지 도 9와 관련하여 다음에서 좀더 상세하게 설명된다.
도 2는, 본 발명의 일 실시예에 따른, 이미지 프레임(20)에서의 픽셀 및 픽셀값으로의 이미지 캡처 장치(또는 검출기 어레이)(11)에서의 검출기 구성 요소의 매핑을 예시한다. 검출기 어레이(11)는 검출기 구성 요소(21)에 의해 예시되는 다수의 검출기 구성 요소 또는 광 센서를 포함한다. 본 실시예에서는, 각각의 검출기 구성 요소를 위해, 픽셀값(22)에 의해 예시되는 대응되는 픽셀값이 발생된다. 검출기 어레이(11)는 검출기 구성 요소의 물리적인 실제 어레이인 한편, 이미지 데이터(20)의 프레임은 도 2에 도시된 바와 같이 픽셀값의 가상 어레이로서 표현될 수 있다.
도 3은 본 발명의 일 실시예에 따른 이미지 데이터의 연속 프레임(30, 31, 및 32)을 예시한다. 다시 말해, 프레임(32)은, 시간 순으로(in chronological order), 프레임(31)을 뒤따르고, 프레임(31)은 프레임(30)을 뒤따른다. 프레임(30, 31, 및 32)은 비디오 시퀀스에서의 연속 프레임을 표현할 수 있고, 따라서, 비교적 짧은 시구간만큼 분리될 수 있다. 다른 방법으로, 프레임(30, 31, 및 32)은 3개의 스틸 이미지를 표현할 수도 있고, 그에 따라, 임의의 시간량만큼 분리될 수도 있다.
도 3의 일례에서, 프레임(30)은 2개의 예시적 픽셀값(33 및 34)을 포함하고, 프레임(31)은 2개의 예시적 픽셀값(35 및 36)을 포함하며, 프레임(32)은 2개의 예시적 픽셀값(41 및 42)을 포함한다. 픽셀값(33, 35 및 41)은 검출기 어레이(예를 들어, 도 2의 검출기 어레이(11))의 동일한 검출기 구성 요소에 대응되고, 픽셀값(34, 36 및 42)은 검출기 어레이(11)의 동일한 검출기(하지만, 픽셀값(33, 35 및 41)과 연관된 것과는 상이한 검출기 구성 요소)에 대응된다.
카운터(37)는 예시적인 카운터 값(38 및 39)을 포함하는 카운터 값의 가상 어레이를 표현한다. 카운터 값(38)은 픽셀값(33, 35, 및 41)에 대응되는 검출기 구성 요소에 대응되고, 카운터 값(39)은 픽셀값(34, 36, 및 42)에 대응되는 검출기 구성 요소에 대응된다.
픽셀값(33 및 35)은 "동일하지 않은 것으로 간주되지만" 픽셀값(34 및 36)은 "동일한 것으로 간주되는" 일례를 고려한다. 여기에서 사용되는 바와 같이, "동일한 것으로 간주된다"는 용어는 픽셀값이 정확하게 동일하거나 픽셀값이 (예를 들어, 미리 설정된 허용 한계내에서) 사실상 동일하다는 것을 지시하는데 사용된다. 나머지 논의를 간략하게 하기 위해, "동일한 것으로 간주되는"을 대신해 "동일한"이 사용된다.
도 3의 일례에서, 픽셀값(33 및 35)은 동일하지 않기 때문에, 카운터 값(38)은 증분되지 않는다. 그러나, 픽셀값(34 및 36)은 동일하기 때문에, 카운터 값(39)은 증분된다. 일반적으로, 시간 순으로 정렬된 연속적인 2개 프레임으로부터의 양자가 동일한 검출기 구성 요소에 대응되는 픽셀값이 동일하면, 그러한 검출기 구성 요소에 대응되는 카운터 값은 증분된다.
도 3의 일례에 의해 설명되는 프로세스는 획득된 이미지 데이터의 새로운 프레임 각각에 대해 계속된다. 다시 말해, 일 실시예에서는, 이미지 데이터의 다른 새로운 프레임이 획득될 때, 전자의 "새로운" 프레임(31)은 "지난" 프레임이 되고, 새롭게 획득된 프레임(예를 들어, 프레임(32))이 "새로운" 프레임이 된다. 이러한 2개의 최신 프레임(예를 들어, 프레임(31 및 32)) 사이의 픽셀값 비교가 상술된 바와 같이 수행된다.
도 3의 일례에서, 픽셀값(35 및 41)이 동일하면, 카운터 값(38)은 증분되고; 픽셀값(35 및 41)이 동일하지 않으면, 카운터 값(38)은 0으로 남는다. 픽셀값(36 및 42)이 동일하면, 카운터 값(39)은 다시 증분된다(예를 들어, 카운터 값(39)은 +2의 값을 가질 것이다). 중요한 것은, 픽셀값(36 및 42)이 동일하지 않으면, 카운터 값(39)은 0으로 리셋된다는 것이다.
이와 같이, 본 발명의 실시예에 따르면, 카운터 값(예를 들어, 카운터 값(39))은, 그러한 카운터 값에 대응되는 픽셀값이 일 프레임에서 후속 프레임까지 동일한 상태를 유지하면, 획득된 이미지 데이터의 새로운 프레임 각각에 대해 계속해서 증가할 것이다. 일 실시예에서는, 임계값이 확립되고, 그에 따라, 카운터 값이 임계값에 도달하면, 그러한 카운터 값에 대응되는 픽셀값은 "수용 불가능한 것"으로 간주된다. 다시 말해, 동일한 검출기 구성 요소와 연관된 픽셀값이 임계 갯수의 연속 프레임에 걸쳐 동일한 상태를 유지하였기 때문에, 그 픽셀값은 장애가 발생된 검출기 구성 요소와 연관된 것으로 추정되고, 그에 따라, 그 픽셀값은 잘못이 있거나 수용 불가능한 것으로 간주된다. 이런 식으로, 검출기 구성 요소와 연관된 픽셀값이 임계 갯수의 연속(시간 순으로) 프레임에 걸쳐 동일한 상태를 유지하였다는 것에 주목하는 것에 의해 장애 검출기 구성 요소(failed detector element)가 식별된다.
일 실시예에서는, 일단 카운터 값이 임계값에 도달함으로써, 장애 검출기 구성 요소를 식별하고 나면, 카운터 값은, 픽셀값이 변하는 경우에만, 0으로 리셋된 다음, 상술된 프로세스가 반복된다. 따라서, 검출기 구성 요소가 장애 구성 요소로서 부정확하게 식별되면, 그것은 다음에, 동작하는 구성 요소(functioning element)로서 재식별될 것이다.
검출기 구성 요소가 장애 구성 요소로서 식별되면, 그러한 검출기 구성 요소와 연관된 픽셀값은 부정확한 것으로 추정된다. 본 발명의 실시예에 따르면, 장애 검출기 구성 요소를 둘러싸거나, 장애 검출기 구성 요소와 이웃하거나, 장애 검출기 구성 요소에 인접한 검출기 구성 요소와 연관된 픽셀값을 평균하거나 내삽(interpolation)하는 것에 의해 장애 검출기 구성 요소를 위한 새로운 픽셀값이 판정된다. 따라서, 렌더링된 이미지에서 결함 검출기 구성 요소의 효과가 차단된다.
도 4는, 이웃하거나 인접한 검출기 구성 요소의 그룹(41)이 장애를 갖는 것으로서 식별되는 상황을 예시한다. 그러한 상황에서, 그룹에는, 장애 및 동작하는 검출기 구성 요소 양자에 의해 인접한 일부 검출기 구성 요소 및 장애 구성 요소에 의해 완전히 둘러싸이는 다른 검출기 구성 요소가 존재할 수 있다. 도 4에서, 레이블링되지 않은 구성 요소는 동작하는 검출기 구성 요소를 지시한다.
일 실시예에서는, 도 4로 예시된 상황이, 다중-통과 접근 방법을 사용해 장애 검출기 구성 요소(X 및 Y)를 위한 픽셀값을 판정하는 것에 의해 다루어진다. 제1 통과에서는, 동작하는 검출기 구성 요소에 대응되는 픽셀값을 평균하거나 외삽(extrapolation)하는 것에 의해, 동작하는 검출기 구성 요소와 이웃한 장애 검출기 구성 요소(X)를 위한 픽셀값이 판정된다. 후속 통과에서는, 검출기 구성 요소(X)를 위해 판정된 픽셀값(또는 그 값의 서브세트)을 사용해, 장애 검출기 구성 요소(Y)를 위한 픽셀값이 판정된다.
이런 식으로, GPU(12)는 이미지 캡처 장치(11)에서의 결함을 보상할 수 있다. 결함은, 이미지 캡처 장치(11)가 시간에 걸쳐 열화함에 따라 도입될 수도 있다. 그러나, GPU(12)가 결함을 식별하고 결함을 보상할 수 있기 때문에, 장치(10)의 수명은 이미지 품질의 두드러진 손실없이 연장될 수 있다. 다시 말해, 일단 이미지 캡처 장치(11)에서 결함이 발생하기 시작하더라도, 사용자가 좀더 낮은 품질의 이미지를 허용하거나 새로운 장치를 구매하는 것은 불필요하다.
결함은 제조 프로세스 동안 수행되는 품질 점검시의 이미지 캡처 장치(11)에서 검출될 수도 있다. 그러나, GPU(12)가 결함을 식별하고 결함을 보상할 수 있기 때문에, 이미지 캡처 장치(11)를 파기하는 것은 불필요할 수 있다. 다시 말해, GPU(12)가 소정 갯수의 결함은 보상할 수 있기 때문에, 이미지 캡처 장치(11)는 정상적으로 허용될 수 있는 것보다 좀더 많은 갯수의 결함을 가질 수 있고; 따라서, 좀더 많은 장치가 품질 점검을 통과할 것이다. 그에 따라, 파기율은, 비용을 낮추면서, 감소된다.
도 5는, 본 발명의 일 실시예에 따른, 이미지 캡처 장치(예를 들어, 도 1의 이미지 캡처 장치(11))를 캘리브레이션하기 위한 프로세스의 일례를 예시한다. 벤치마크 이미지(51)는, 이미지 캡처 장치(11)를 캘리브레이션하기 위한 기초(basis)를 제공하는 공지의 표준 이미지를 표현한다. 예를 들어, 벤치마크(51)는 수직인 것으로 공지되는 그리고 공지의 거리만큼 떨어져 있는 한 세트의 그리드라인(gridline)을 포함할 수 있다. 제조 프로세스 동안, 장치(10;도 1)를 사용해 벤치마크(51)의 사진(예를 들어, 테스트 이미지(52))이 획득된다. 테스트 이미지(52)는 이미지 캡처 장치(11)에 의해 또는 카메라 렌즈와 같은 소정의 다른 컴포넌트에 의해 도입되는 왜곡을 판정하기 위해 벤치마크(51)와 비교된다. 오버레이(53;overlay)는 벤치마크(51)와 테스트 이미지(52) 사이의 비교를 예시한다.
계속해서 도 5를 참조하면, 테스트 이미지(52)와 벤치마크(51)를 비교하는 것에 의해, 이미지 데이터의 프레임에서의 포인트 또는 픽셀값 각각과 연관된 그리고 그에 따라 도 1의 이미지 캡처 장치(11)에서의 검출기 구성 요소 각각에 대한 변위(Δx 및 Δy)가 판정된다. 다시 말해, 변위(Δx 및 Δy)는 벤치마크(51)에서의 포인트와 테스트 이미지(52)에서의 대응되는 포인트 사이의 차이를 측정하는 것에 의해 점 대 점(픽셀 대 픽셀) 기반으로 판정된다. 그리드라인들 사이의 포인트는 검출기 구성 요소의 전체 어레이에 대한 변위 맵을 발생시키기 위해 내삽될 수 있다. 다른 방법으로는, 검출기 구성 요소의 전체 어레이에 대한 변위 맵을 발생시키기 위해, 각각이 약간씩 서로 오프셋된 상태에서, 벤치마크(51)의 다중 사진이 촬영될 수 있다. 변위값(Δx 및 Δy) 중 어느 하나 또는 변위값(Δx 및 Δy) 모두가 0의 값을 가질 수 있다.
본 실시예에서, 다음으로는, 변위(Δx 및 Δy)를 보상하는 정정 팩터가 검출기 구성 요소 각각에 대해 판정된다. 일 실시예에서, 정정 팩터는 검출기 구성 요소에 의해 인덱싱되는 룩업 테이블(LUT)에 저장되는데, 다시 말해, LUT가 검출기 구성 요소 각각에 대한 정정 팩터를 포함한다.
일 실시예에서는, 상이한 카메라 설정(예를 들어, 상이한 초점 길이 및 구경 설정)을 위해 정정 팩터가 판정된다. 그러한 실시예에서, LUT는 검출기 구성 요소 뿐만 아니라 카메라 설정에 의해서도 인덱싱된다.
동작시에, 정정 팩터는 다음과 같이 사용될 수 있다. (도 2에 예시된 것과 같은) 픽셀값의 가상 어레이를 발생시키기 위해 장치(10;도 1)를 사용해 이미지가 캡처된다(사진이 촬영된다). 픽셀값 각각은 이미지 데이터의 프레임에서의 위치에 대응되고, (도 2에 의해 예시되는 바와 같이) 검출기 어레이(11)에서의 특정한 검출기 구성 요소에도 대응된다. 정정 팩터는 이미지 데이터의 프레임에서의 픽셀값 각각 및 등가적으로 검출기 구성 요소 각각과 연관된다. (검출기 구성 요소에 의해 인덱싱되는) 적합한 정정 팩터가 LUT로부터 판독되어, 이미지 데이터내에서 픽셀값의 위치를 정정하면서, GPU(12)에 의해 적합한 픽셀값에 적응된다. 실제로, 픽셀값은 캡처된 이미지 데이터에서의 그것의 위치로부터, 렌즈가 왜곡을 도입하지 않았더라면, 그것이 존재했어야 하는 위치로 이동된다. 본질적으로, 정정 팩터는, 촬영된 오브젝트를 좀더 정확하게 묘사하기 위해, 이미지 데이터의 인스턴스(예를 들어, 픽셀값)가 픽셀값의 어레이에 배치되는 위치를, 렌더링된 이미지에서 이미지 데이터의 인스턴스가 존재해야 하는 위치로 매핑한다.
이런 식으로, GPU(12)는 렌즈와 같은 이미징 컴포넌트에 존재할 수 있는 왜곡 및 허점에 의해 도입되는 왜곡 및 다른 효과를 보상할 수 있다. 따라서, 저품질 및 그에 따른 저비용 컴포넌트가 사용될 수 있고, 렌즈와 같은 컴포넌트에 대한 제조 허용 한계가 추가적인 비용 절감을 위해 증가될 수 있다. GPU(12)는, 결과적인 전체 품질이 고비용, 고품질 컴포넌트와 사실상 구별 불가능하다는 것을 보장한다. 더 나아가, 앞서 수용 불가능한 것으로 간주되었던 컴포넌트가 이제는 사용될 수 있기 때문에, 파기율이 감소될 수 있는데, 이 또한 비용을 감소시킨다.
왜곡 효과 이외의 효과를 보상하는 정정 팩터가 판정되어, 앞서 설명된 것과 같은 이점을 제공하면서, 유사한 방식으로 적용될 수 있다. 예를 들어, 장치(10;도 1)는, 검출기 어레이에서의 검출기 구성 요소 각각에 대해, 컬러(색) 수차 및 컬러 시프트(color shifts)를 보상하기 위한 정정 팩터를 판정하기 위해, 벤치마크에 대하여 캘리브레이션될 수 있다. 컬러 수차는 이미지 캡처 장치(11;도 1)에 의해 캡처된 컬러와 실제 컬러(예를 들어, 촬영되고 있는 대상의 실제 컬러) 사이의 컬러 차이를 의미한다. 컬러 시프트는, 상이한 컬러 파장이 렌즈를 통해 상이하게 전달되기 때문에 발생되는 효과를 의미한다.
정정 팩터는 상이한 카메라 설정(예를 들어, 상이한 초점 길이 및 구경 설정)을 위해서도 판정될 수 있다. 상이한 정정 팩터가 픽셀값의 컬러 컴포넌트 각각을 위해 판정될 수 있다(예를 들어, 레드, 그린, 및 블루 컴포넌트 각각을 위한 정정 팩터가 판정될 수 있다). GPU(12)는 컬러 수차 및 컬러 시프트를 매 픽셀값마다 포스트-프로세싱할 수 있다.
카메라 설정에 따라, 샤프닝 필터(sharpening filter)를 이미지 데이터의 선택된 부분에 적용하는 것에 의해, 구면 수차, 비점 수차(astigmatism), 및 코마(coma)와 같은 효과를 정정하기 위한 정정 팩터도 판정될 수 있다.
도 6은, 본 발명의 일 실시예에 따른, 오디오 장치(예를 들어, 도 1의 장치(10))를 캘리브레이션하기 위한 프로세스의 일례를 예시한다. 이상적으로, 기록되거나 플레이되는 오디오의 진폭은 적용 가능 주파수의 범위에 걸쳐 일정하다. 실제로, 진폭은 주파수에 따라 달라진다. 일 실시예에서는, 제조 프로세스 동안, 진폭 대 주파수의 실제 곡선이, 기록 동안에 그리고 기록의 재생 동안에도, 장치(10)에 대해 판정된다. 실제 진폭 및 정의된 이상적인 진폭을 주파수의 함수로서 등식화하는 정정 팩터가 판정되고, 일 실시예에서는, LUT(예를 들어, 도 1의 메모리(14))에 저장된다. 동작시에, 오디오 데이터의 인스턴스가 렌더링되면(들릴 수 있게 되면), 데이터의 그 인스턴스와 연관된 주파수가 판정되고 적합한 정정 팩터가 GPU(12)에 의해 LUT로부터 판독되어 데이터의 그 인스턴스에 적용된다.
도 7은, 본 발명의 일 실시예에 따른, GPU에 의해 이미지 데이터를 프로세싱하는데 사용되는 방법의 흐름도(70)이다. 일 실시예에서, 흐름도(70)는 장치(10)의 컴퓨터 판독 가능 메모리 유닛에 저장되어 GPU(12;도 1)에 의해 실행되는 프로그램 명령어로서 구현된다.
도 7의 블록 71에서, 이미지 캡처 장치(예를 들어, 검출기 구성 요소의 어레이)는 이미지 데이터의 제1 프레임을 구비하는 제1 복수개 픽셀값 및 이미지 데이터의 제2 프레임을 구비하는 제2 복수개 픽셀값을 발생시킨다. 일 실시예에서, 제2 프레임은, 제1 프레임에 시간 순으로 정렬되어 후속하는 프레임이다. 제1 복수개 픽셀값에서의 제1 픽셀값이 제2 복수개 픽셀값에서의 제2 픽셀값과 비교된다. 제1 픽셀값 및 제2 픽셀값은 검출기 어레이에서의 동일한 검출기 구성 요소에 대응된다.
블록 72에서는, 그러한 동일 검출기 구성 요소에 대응되는 픽셀값이 시간 순으로 정렬된 연속적인 2개 프레임에 걸쳐 동일한 것으로 간주될 때마다, 동일한 검출기 구성 요소와 연관된 카운터 값이 증분된다. 다시 말해, 예를 들어, 앞서 언급된 제1 픽셀값 및 제2 픽셀값이 동일한 것으로 간주되면, 제1 및 제2 픽셀값에 대응되는 검출기 구성 요소와 연관된 카운터 값이 증분된다.
블록 73에서는, 동일한 검출기 구성 요소에 대응되는 픽셀값이 시간 순으로 정렬된 연속적인 2개 프레임에 걸쳐 동일하지 않은 것으로 간주될 때마다, 카운터 값이 0으로 설정된다. 상기 일례에서, 제1 픽셀값 및 제2 픽셀값이 동일하지 않은 것으로 간주되면, 제1 및 제2 픽셀값에 대응되는 검출기 구성 요소와 연관된 카운터 값은 0으로 설정된다.
블록 74에서, 카운터 값이 임계값을 충족시키면, 그 카운터 값과 연관된 픽셀값은 수용 불가능한 픽셀값으로서 식별된다. 본 일례에서, 제1 및 제2 픽셀과 연관된 카운터 값이 임계값에 도달하면, 제1 및 제2 픽셀값은 수용 불가능한 것으로 정의된다. 따라서, 제1 및 제2 픽셀값에 대응되는 검출기 구성 요소는 죽은 또는 오작동하는 것으로서 간주된다.
블록 75에서는, 수용 불가능한 임의 픽셀값 대신에 새로운 값을 판정하기 위해 유효한 픽셀값이 평균되거나 내삽된다. 본 일례에서는, 제1 픽셀에 대한 새로운 값을 판정하기 위해 제1 복수개 픽셀값의 서브세트가 평균된다. 마찬가지로, 제2 픽셀에 대한 새로운 값을 판정하기 위해 제2 복수개 픽셀값의 서브세트가 평균된다. 각 서브세트에서의 픽셀값은 제1 및 제2 픽셀값과 연관된 검출기 구성 요소와 이웃한 검출기 구성 요소에 대응된다.
도 7의 블록 76에서는, 일 실시예에서, 도 4와 관련하여 앞서 설명된 바와 같이, 수용 불가능한 복수개 픽셀값이 식별된다. 수용 불가능한 복수개 픽셀값은 검출기 어레이에서의 인접한 검출기 구성 요소에 대응된다. 수용 불가능한 픽셀값 중 제1 픽셀값이 선택된다. 수용 불가능한 픽셀값 중 제1 픽셀값 대신에 새로운 제1 픽셀값을 판정하기 위해 제1 복수개 픽셀값의 서브세트가 평균된다. 픽셀값의 서브세트는 수용 불가능한 픽셀값 중 제1 픽셀값에 대응되는 검출기 구성 요소에 이웃한 검출기 구성 요소에 대응된다. 수용 불가능한 픽셀값 중 제2 픽셀값 대신에 새로운 픽셀값을 판정하기 위해 새로운 제1 픽셀값을 포함하는 픽셀값의 제2 서브세트가 평균된다. 픽셀값의 제2 서브세트는 수용 불가능한 픽셀값 중 제2 픽셀값에 대응되는 검출기 구성 요소에 이웃한 검출기 구성 요소에 대응된다.
도 8은, 본 발명의 다른 실시예에 따른, GPU에 의해 이미지 데이터를 프로세싱하는데 사용되는 방법의 흐름도(80)이다. 일 실시예에서, 흐름도(80)는 장치(10)의 컴퓨터 판독 가능 메모리 유닛에 저장되어 GPU(12;도 1)에 의해 실행되는 프로그램 명령어로서 구현된다.
도 8의 블록 81에서, 이미지 캡처 장치(예를 들어, 검출기 구성 요소의 어레이)는 이미지 데이터의 프레임을 구비하는 복수개 픽셀값을 발생시킨다. 검출기 어레이에서의 검출기 구성 요소에 대응되는 픽셀값이 액세스된다.
블록 82에서는, 검출기 구성 요소에 대응되는 정정 팩터가 액세스된다. 일 실시예에서는, 검출기 구성 요소에 의해 인덱싱되는 LUT로부터 정정 팩터가 판독된다. 다른 실시예에서, 정정 팩터는 장치(10;도 1)의 실제 성능을 벤치마크에 대하여 비교하는 것에 의해 판정된다.
도 8의 블록 83에서는, 픽셀값에 정정 팩터가 적용된다. 이런 식으로, 픽셀값은 왜곡 효과, 선명도의 부족, 컬러 수차, 및 컬러 시프트와 같은 효과를 감당하도록 보상된다.
도 9는, 본 발명의 일 실시예에 따른, GPU에 의해 오디오 데이터를 프로세싱하는데 사용되는 방법의 흐름도(90)이다. 일 실시예에서, 흐름도(90)는 장치(10)의 컴퓨터 판독 가능 메모리 유닛에 저장되어 GPU(12;도 1)에 의해 실행되는 프로그램 명령어로서 구현된다.
도 9의 블록 91에서는, 기록 또는 재생 동안, 오디오 파일을 구비하는 오디오 데이터가 액세스된다. 오디오 데이터의 인스턴스와 연관된 주파수가 판정된다.
블록 92에서는, 주파수에 대응되는 정정 팩터가 액세스된다. 정정 팩터는 진폭을 조정하는데 사용된다. 일 실시예에서, 정정 팩터는 주파수에 의해 인덱싱되는 LUT로부터 판독된다. 다른 실시예에서, 정정 팩터는 장치(10)의 오디오 성능을 벤치마크에 대하여 비교하는 것에 의해 판정된다.
블록 93에서는, 오디오 데이터의 인스턴스에 정정 팩터가 적용된다. 이런 식으로, 오디오 데이터의 인스턴스와 연관된 진폭은, 오디오의 기록 또는 기록의 재생에서의 결점으로 인한, 정의된 이상적 진폭으로부터의 임의 변이를 감당하도록 보상된다.
특정 단계가 흐름도(70, 80, 및 90)에서 개시되지만, 그러한 단계는 예시적이다. 다시 말해, 본 발명은 다양한 다른 단계 또는 흐름도(70, 80, 및 90)에서 상술된 단계의 변형을 수행하기에 아주 적합하다. 흐름도(70, 80, 및 90)에서의 단계는 제시된 것과 상이한 순서로 수행될 수 있다는 것과 흐름도(70, 80, 및 90)에서의 단계가 반드시 예시된 순서로 수행될 필요는 없다는 것을 알 수 있을 것이다.
요컨대, 본 발명의 실시예에 따르면, 카메라폰, 오디오 플레이어, 및 유사한 장치 유형에서의 GPU가, 장치의 비용, 무게, 또는 사이즈를 상응하여 증가시키지 않으면서, 이미지 또는 오디오 데이터의 품질을 향상시키는데 사용될 수 있다. 또한, GPU는, 장치의 수명을 연장하면서, 이미지 캡처 장치(예를 들어, 검출기 어레이)의 열화에 의해 도입되는 이미지 데이터의 어떤 손실도 보상할 수 있다. 또한, 여기에서 설명된 방식으로 GPU를 사용하는 것은 제조하는 동안의 파기율을 감소시킬 수 있다. 본질적으로, GPU에 의해 제공되는 추가 역량은 검출기 어레이와 같은 컴포넌트에서 좀더 많은 갯수의 결함이 허용될 수 있다는 것과, 결과적으로, 앞서 파기되었던 컴포넌트가 이제는 사용 가능할 수 있다는 것을 의미한다. 파기율이 저하되기 때문에, 제조 비용 및 궁극적으로 소비자에 대한 비용이 감소될 수 있다.
더 나아가, 사진 또는 음향 품질에 영향을 미치지 않으면서, 다른 저비용 컴포넌트가 사용될 수 있기 때문에, 카메라폰과 같은 핸드헬드 장치에 GPU를 도입하는 비용은 상쇄된다. 다시 말해, GPU가, 존재한다면, 저품질 또는 저비용 컴포넌트에 의해 도입될 수 있는 효과를 보상할 수 있고, 그에 따라, 전반적인 품질은 두드러지게 영향을 받지 않는다.
여기에서 제시되는 것의 광범위한 개요로서, 다음에 주목해야 한다. 렌더링된 이미지의 품질을 증가시키기 위해 이미지 데이터를 프로세싱하기 위한 GPU(graphics processing unit)를 통합하는 장치(예를 들어, 디지털 카메라를 통합하는 셀폰)가 설명된다. GPU에 의해 제공되는 프로세싱 능력은, 예를 들어, 수용 불가능한 픽셀값(예를 들어, 오작동 또는 죽은 검출기 구성 요소와 연관된 픽셀값)이 식별되어, 다른 픽셀값을 평균하는 것에 의해 판정되는 새로운 값으로 대체될 수 있다는 것을 의미한다. 또한, 예를 들어, 장치는 검출기 구성 요소 각각을 위한 정정 팩터를 발생시키기 위해 벤치마크 데이터에 대하여 캘리브레이션될 수 있다. 정정 팩터는 각 픽셀 단위로 이미지 데이터에 적용될 수 있다. 장치가 디지털 오디오 파일도 기록 및/또는 플레이하도록 적응되는 경우라면, 장치의 오디오 성능이 캘리브레이션되어 오디오 주파수의 범위에 대한 정정 팩터를 판정할 수 있다.
이와 같이, 본 발명의 실시예가 설명된다. 특정 실시예로 본 발명이 설명되었지만, 본 발명이 그러한 실시예에 의해 제한되는 것으로 해석되어서는 안되며, 오히려, 다음의 청구항에 따라 해석되어야 한다는 것을 알 수 있어야 한다.

Claims (20)

  1. 이미지 데이터를 정정하는 장치로서,
    검출기 구성 요소들의 어레이를 포함하는 이미지 캡처 장치;
    상기 이미지 캡처 장치에 연결되고, 상기 어레이를 사용하여 생성되고 시간 순으로 정렬된 복수의 프레임을 저장하는 메모리 - 상기 프레임 각각은 복수의 픽셀 값을 포함함 - ;
    상기 메모리에 연결된 디스플레이 장치; 및
    GPU(graphics processing unit)
    를 포함하며,
    상기 GPU는,
    상기 프레임 중 제1 프레임으로부터의 제1 픽셀 값을 상기 프레임 중 제2 프레임으로부터의 제2 픽셀 값과 비교하는 동작 - 상기 제2 프레임은 시간 순으로 정렬될 때 상기 제1 프레임을 뒤따르는 그 다음 프레임이며, 상기 제1 픽셀 값과 상기 제2 픽셀 값은 상기 어레이의 동일한 검출기 구성 요소로부터 생성됨 - ;
    상기 제1 픽셀 값과 상기 제2 픽셀 값이 동일한 경우에는 카운터 값을 증분시키고, 동일하지 않은 경우에는 상기 카운터 값을 초기화하는 동작;
    시간 순으로 정렬된 상기 프레임 각각에 대하여 상기 검출기 구성 요소로부터 생성된 픽셀 값 각각에 대한 상기 비교를 반복하는 동작;
    상기 검출기 구성 요소에 의해 발생되는 픽셀 값들이 시간 순으로 정렬된 연속 2개 프레임들에 걸쳐 동일한 것으로 간주될 때마다 카운터 값을 증분시키고, 동일하지 않은 경우에는 상기 카운터 값을 초기화하는 동작;
    상기 카운터 값이 증분되면, 상기 카운터 값이 특정 임계치를 초과하는지 여부를 결정하는 동작;
    상기 카운터 값이 상기 임계치를 초과하면, 상기 검출기 구성 요소를 결함이 있는 것으로 지정하는 동작; 및
    상기 검출기 구성 요소가 결함이 있는 것으로 지정되면, 상기 검출기 구성 요소에 의해 발생된 픽셀 값들 대신에 새로운 값들을 추정하는 동작을 수행할 수 있도록 동작할 수 있는,
    이미지 데이터를 정정하는 장치.
  2. 제1항에 있어서,
    상기 추정하는 동작은 제1 복수의 픽셀값을 평균하는 단계를 더 포함하고, 상기 제1 복수의 픽셀값은 상기 검출기 구성 요소와 이웃하는 검출기 구성 요소들에 대응되는,
    이미지 데이터를 정정하는 장치.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    제1 오디오 입력을 수신하기 위한 마이크로폰;
    상기 제1 오디오 입력을 포함하는 신호를 전달하기 위한 무선 송신기;
    제2 오디오 입력을 포함하는 무선 신호를 수신하기 위한 수신기; 및
    상기 제2 오디오 입력을 들을 수 있게 렌더링(audibly rendering)하기 위한 스피커를 포함하는 무선 셀폰을 더 포함하는,
    이미지 데이터를 정정하는 장치.
  7. 제1항에 있어서,
    상기 GPU는 또한,
    상기 복수의 픽셀값 중, 상기 어레이의 제1 검출기 구성 요소에 대응되는 제1 픽셀값에 액세스하는 동작;
    상기 제1 검출기 구성 요소에 대응되는 정정 팩터에 액세스하는 동작; 및
    상기 제1 픽셀값에 상기 정정 팩터를 적용하는 동작을 수행할 수 있도록 동작하는,
    이미지 데이터를 정정하는 장치.
  8. 제7항에 있어서,
    상기 정정 팩터는 검출기 구성 요소에 의해 인덱싱되는 복수의 정정 팩터를 포함하는 룩업 테이블로부터 판독되는,
    이미지 데이터를 정정하는 장치.
  9. 제7항에 있어서,
    상기 정정 팩터는 상기 이미지 캡처 장치로 광을 전달하는 렌즈에 의해 도입되는 효과를 보상하는,
    이미지 데이터를 정정하는 장치.
  10. 제9항에 있어서,
    상기 효과는 변위 효과(displacement effect)이고, 상기 렌즈에서의 왜곡(distortion)은 상기 왜곡을 관통하는 광의 방향을 변화시키는,
    이미지 데이터를 정정하는 장치.
  11. 제9항에 있어서,
    상기 효과는 상기 렌즈를 관통하는 광의 상이한 컬러 파장에 의해 도입되는 컬러 시프트 효과이고, 추가적으로 상기 픽셀값의 컬러 컴포넌트 각각에 보상 팩터(compensation factor)가 적용되는,
    이미지 데이터를 정정하는 장치.
  12. 제7항에 있어서,
    상기 정정 팩터는 상기 픽셀값에 의해 표현되는 컬러와 벤치마크 컬러값 사이의 컬러 차이를 보상하는,
    이미지 데이터를 정정하는 장치.
  13. 제7항에 있어서,
    상기 정정 팩터는 벤치마크에 관한 선명도의 손실을 보상하는,
    이미지 데이터를 정정하는 장치.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020087011121A 2005-11-09 2006-11-07 Ｇｐｕ 사용 방법 및 장치 KR100996995B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/272,242 US7750956B2 (en) 2005-11-09 2005-11-09 Using a graphics processing unit to correct video and audio data
US11/272,242 2005-11-09

Publications (2)

Publication Number Publication Date
KR20080056004A KR20080056004A (ko) 2008-06-19
KR100996995B1 true KR100996995B1 (ko) 2010-11-25

Family

ID=38003342

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087011121A KR100996995B1 (ko) 2005-11-09 2006-11-07 Ｇｐｕ 사용 방법 및 장치

Country Status (8)

Country Link
US (4) US7750956B2 (ko)
JP (1) JP4790022B2 (ko)
KR (1) KR100996995B1 (ko)
CN (1) CN101305620B (ko)
DE (1) DE112006003031B4 (ko)
GB (1) GB2444470B (ko)
TW (1) TWI337036B (ko)
WO (1) WO2007056459A2 (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8471852B1 (en) 2003-05-30 2013-06-25 Nvidia Corporation Method and system for tessellation of subdivision surfaces
US8571346B2 (en) 2005-10-26 2013-10-29 Nvidia Corporation Methods and devices for defective pixel detection
US7750956B2 (en) 2005-11-09 2010-07-06 Nvidia Corporation Using a graphics processing unit to correct video and audio data
US8588542B1 (en) 2005-12-13 2013-11-19 Nvidia Corporation Configurable and compact pixel processing apparatus
DE102006031757A1 (de) * 2006-01-04 2007-08-02 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Verfahren zur automatischen Korrektur von Bildfehlern in Video-Assist-Bildern eines Video-Assist-Systems
US8737832B1 (en) 2006-02-10 2014-05-27 Nvidia Corporation Flicker band automated detection system and method
US8594441B1 (en) 2006-09-12 2013-11-26 Nvidia Corporation Compressing image-based data using luminance
US8723969B2 (en) 2007-03-20 2014-05-13 Nvidia Corporation Compensating for undesirable camera shakes during video capture
US8724895B2 (en) 2007-07-23 2014-05-13 Nvidia Corporation Techniques for reducing color artifacts in digital images
US8570634B2 (en) 2007-10-11 2013-10-29 Nvidia Corporation Image processing of an incoming light field using a spatial light modulator
US8780128B2 (en) 2007-12-17 2014-07-15 Nvidia Corporation Contiguously packed data
US9177368B2 (en) 2007-12-17 2015-11-03 Nvidia Corporation Image distortion correction
JP2009169601A (ja) * 2008-01-15 2009-07-30 Ricoh Co Ltd 画像処理システム及びこの画像処理システムを有するカメラ
US8698908B2 (en) 2008-02-11 2014-04-15 Nvidia Corporation Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera
US9379156B2 (en) 2008-04-10 2016-06-28 Nvidia Corporation Per-channel image intensity correction
US8373718B2 (en) 2008-12-10 2013-02-12 Nvidia Corporation Method and system for color enhancement with color volume adjustment and variable shift along luminance axis
US20100207962A1 (en) * 2009-02-02 2010-08-19 Calgary Scientific Inc. Image data transmission from GPU to system memory
US10699469B2 (en) 2009-02-03 2020-06-30 Calgary Scientific Inc. Configurable depth-of-field raycaster for medical imaging
US8749662B2 (en) 2009-04-16 2014-06-10 Nvidia Corporation System and method for lens shading image correction
WO2010123499A1 (en) * 2009-04-22 2010-10-28 Hewlett-Packard Development Company, L.P. Spatially-varying spectral response calibration data
GB2472565B (en) * 2009-06-13 2013-12-11 Agilent Technologies Inc System and method for increasing the speed of measurements in an instrument
CA2715769A1 (en) * 2009-09-25 2011-03-25 Calgary Scientific Inc. Level set segmentation of volume data
US8698918B2 (en) 2009-10-27 2014-04-15 Nvidia Corporation Automatic white balancing for photography
CN101719084B (zh) * 2009-12-11 2011-06-15 中国人民解放军国防科学技术大学 一种通过调节gpu频率来降低gpu故障率的方法
US9942593B2 (en) * 2011-02-10 2018-04-10 Intel Corporation Producing decoded audio at graphics engine of host processing platform
US10721506B2 (en) 2011-06-29 2020-07-21 Calgary Scientific Inc. Method for cataloguing and accessing digital cinema frame content
CN103106638A (zh) * 2011-11-14 2013-05-15 辉达公司 用于实时图像处理的图形处理装置
CN103514594A (zh) * 2012-06-28 2014-01-15 和信超媒体股份有限公司 加速角点检测的方法及执行该方法的移动装置
US9798698B2 (en) 2012-08-13 2017-10-24 Nvidia Corporation System and method for multi-color dilu preconditioner
US8878862B2 (en) 2012-08-22 2014-11-04 2236008 Ontario Inc. Composition manager camera
EP2701379B1 (en) * 2012-08-22 2018-10-03 2236008 Ontario Inc. Composition manager camera
CN102857789B (zh) * 2012-09-07 2015-04-01 中兴通讯股份有限公司 一种摄像头效果智能处理的装置与方法
US9508318B2 (en) 2012-09-13 2016-11-29 Nvidia Corporation Dynamic color profile management for electronic devices
US9307213B2 (en) 2012-11-05 2016-04-05 Nvidia Corporation Robust selection and weighting for gray patch automatic white balancing
US9418400B2 (en) 2013-06-18 2016-08-16 Nvidia Corporation Method and system for rendering simulated depth-of-field visual effect
US9756222B2 (en) 2013-06-26 2017-09-05 Nvidia Corporation Method and system for performing white balancing operations on captured images
US9826208B2 (en) 2013-06-26 2017-11-21 Nvidia Corporation Method and system for generating weights for use in white balancing an image
CN103618858A (zh) * 2013-12-09 2014-03-05 Tcl通讯（宁波）有限公司 一种移动终端摄像头的色彩校正方法和装置
US10277771B1 (en) 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
US10225485B1 (en) 2014-10-12 2019-03-05 Oliver Markus Haynold Method and apparatus for accelerated tonemapping
CN107682626A (zh) * 2017-09-27 2018-02-09 惠州Tcl移动通信有限公司 一种相机图像传输控制方法、移动终端及存储介质
EP3493527B1 (en) 2017-11-30 2019-09-25 Axis AB Method, apparatus and system for detecting and reducing the effects of color fringing in digital video acquired by a camera
JP7247760B2 (ja) * 2019-06-03 2023-03-29 株式会社デンソー 固着判断装置および固着判断方法
US11308868B2 (en) * 2020-01-03 2022-04-19 Qualcomm Incorporated Methods and apparatus for utilizing display correction factors

Family Cites Families (182)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3904818A (en) 1974-02-28 1975-09-09 Rca Corp Removal of dark current spikes from image sensor output signals
JPS6052429B2 (ja) 1979-02-28 1985-11-19 大日本スクリ−ン製造株式会社 色修正演算方法
US4253120A (en) * 1979-12-05 1981-02-24 Rca Corporation Defect detection means for charge transfer imagers
US4685071A (en) * 1985-03-18 1987-08-04 Eastman Kodak Company Method for determining the color of a scene illuminant from a color image
US4739495A (en) * 1985-09-25 1988-04-19 Rca Corporation Solid-state imager defect corrector
US4646251A (en) 1985-10-03 1987-02-24 Evans & Sutherland Computer Corporation Computer graphics, parametric patch parallel subdivision processor
US4771470A (en) 1985-11-14 1988-09-13 University Of Florida Noise reduction method and apparatus for medical ultrasound
US4920428A (en) 1988-07-08 1990-04-24 Xerox Corporation Offset, gain and bad pixel correction in electronic scanning arrays
JPH077376B2 (ja) 1989-04-14 1995-01-30 シャープ株式会社 システムバス制御方法
US4987496A (en) * 1989-09-18 1991-01-22 Eastman Kodak Company System for scanning halftoned images
US5513016A (en) 1990-10-19 1996-04-30 Fuji Photo Film Co. Method and apparatus for processing image signal
US5175430A (en) * 1991-05-17 1992-12-29 Meridian Instruments, Inc. Time-compressed chromatography in mass spectrometry
US5305994A (en) 1991-07-16 1994-04-26 Mita Industrial Co., Ltd. Sorter with rotary spirals and guide rails
US5387983A (en) * 1991-09-27 1995-02-07 Minolta Camera Kabushiki Kaisha Facsimile apparatus comprising converting means for converting binary image data into multi-value image data and image processing apparatus judging pseudo half-tone image
US5261029A (en) 1992-08-14 1993-11-09 Sun Microsystems, Inc. Method and apparatus for the dynamic tessellation of curved surfaces
US5905530A (en) * 1992-08-24 1999-05-18 Canon Kabushiki Kaisha Image pickup apparatus
ATE247308T1 (de) 1993-01-22 2003-08-15 Olympus Optical Co Bildprozessor
US6396397B1 (en) * 1993-02-26 2002-05-28 Donnelly Corporation Vehicle imaging system with stereo imaging
JP3257131B2 (ja) * 1993-03-30 2002-02-18 ソニー株式会社 固体撮像装置の自動欠陥検出装置及び固体撮像装置
JP2778412B2 (ja) * 1993-05-20 1998-07-23 国際電信電話株式会社 動き補償フレーム間コンポジットｔｖ信号直接符号化装置
JP3313221B2 (ja) 1993-12-28 2002-08-12 松下電器産業株式会社 画像生成方法及び画像生成装置
US5796426A (en) 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
AUPM661594A0 (en) * 1994-07-01 1994-07-28 Commonwealth Scientific And Industrial Research Organisation Fractal representation of data
JP3263535B2 (ja) 1994-07-25 2002-03-04 日本電信電話株式会社 カラー画像処理方法
KR960036638A (ko) * 1995-03-31 1996-10-28 김광호 텔레비젼장치에서 이미지의 수직 신장장치 및 방법
JP3252706B2 (ja) 1995-07-21 2002-02-04 ソニー株式会社 映像信号再生方法及び装置、並びに信号伝送方法及び装置
US6011583A (en) 1995-09-08 2000-01-04 Canon Kabushiki Kaisha Image sensing apparatus using a non-interlace or progressive scanning type sensing device
US6016474A (en) * 1995-09-11 2000-01-18 Compaq Computer Corporation Tool and method for diagnosing and correcting errors in a computer program
US6319682B1 (en) * 1995-10-04 2001-11-20 Cytoscan Sciences, L.L.C. Methods and systems for assessing biological materials using optical and spectroscopic detection techniques
DE69635101T2 (de) * 1995-11-01 2006-06-01 Canon K.K. Verfahren zur Extraktion von Gegenständen und dieses Verfahren verwendendes Bildaufnahmegerät
US5652621A (en) * 1996-02-23 1997-07-29 Eastman Kodak Company Adaptive color plane interpolation in single sensor color electronic camera
US6118547A (en) * 1996-07-17 2000-09-12 Canon Kabushiki Kaisha Image processing method and apparatus
US6078331A (en) 1996-09-30 2000-06-20 Silicon Graphics, Inc. Method and system for efficiently drawing subdivision surfaces for 3D graphics
US5878174A (en) 1996-11-12 1999-03-02 Ford Global Technologies, Inc. Method for lens distortion correction of photographic images for texture mapping
US6141740A (en) 1997-03-03 2000-10-31 Advanced Micro Devices, Inc. Apparatus and method for microcode patching for generating a next address
JP3785520B2 (ja) * 1997-03-19 2006-06-14 コニカミノルタホールディングス株式会社 電子カメラ
US5995109A (en) 1997-04-08 1999-11-30 Lsi Logic Corporation Method for rendering high order rational surface patches
JP3683397B2 (ja) 1997-07-02 2005-08-17 富士写真フイルム株式会社 カラー画像データ補間方法および装置
JP4236713B2 (ja) * 1997-07-30 2009-03-11 ソニー株式会社 記憶装置およびアクセス方法
DE19739425A1 (de) * 1997-09-09 1999-03-11 Bosch Gmbh Robert Verfahren und Anordnung zur Wiedergabe eines sterophonen Audiosignals
US6313454B1 (en) 1999-07-02 2001-11-06 Donnelly Corporation Rain sensor
US6281931B1 (en) 1997-11-04 2001-08-28 Tien Ren Tsao Method and apparatus for determining and correcting geometric distortions in electronic imaging systems
DE19855885A1 (de) 1997-12-04 1999-08-05 Fuji Photo Film Co Ltd Bildverarbeitungsverfahren und -vorrichtung
JPH11177744A (ja) 1997-12-08 1999-07-02 Ricoh Co Ltd ディジタル連結複写システム
US6243010B1 (en) 1998-01-08 2001-06-05 Pittway Corp. Adaptive console for augmenting wireless capability in security systems
US6314493B1 (en) * 1998-02-03 2001-11-06 International Business Machines Corporation Branch history cache
JP3733446B2 (ja) * 1998-03-12 2006-01-11 株式会社リコー デジタル複写機
US6504952B1 (en) * 1998-03-17 2003-01-07 Fuji Photo Film Co. Ltd. Image processing method and apparatus
US6433835B1 (en) 1998-04-17 2002-08-13 Encamera Sciences Corporation Expanded information capacity for existing communication transmission systems
US7245319B1 (en) 1998-06-11 2007-07-17 Fujifilm Corporation Digital image shooting device with lens characteristic correction unit
US6785814B1 (en) 1998-07-28 2004-08-31 Fuji Photo Film Co., Ltd Information embedding method and apparatus
JP3587433B2 (ja) * 1998-09-08 2004-11-10 シャープ株式会社 固体撮像素子の画素欠陥検出装置
US6256038B1 (en) 1998-12-10 2001-07-03 The Board Of Trustees Of The Leland Stanford Junior University Parameterized surface fitting technique having independent control of fitting and parameterization
US6462738B1 (en) 1999-04-26 2002-10-08 Spatial Technology, Inc. Curved surface reconstruction
JP4284754B2 (ja) 1999-05-31 2009-06-24 ソニー株式会社 カラー撮像装置及びその制御方法
JP2001016446A (ja) * 1999-06-30 2001-01-19 Oki Electric Ind Co Ltd イメージ読取装置
JP4162111B2 (ja) 1999-07-27 2008-10-08 富士フイルム株式会社 画像処理方法および装置並びに記録媒体
US6392216B1 (en) 1999-07-30 2002-05-21 Intel Corporation Method for compensating the non-uniformity of imaging devices
US6285489B1 (en) * 1999-08-05 2001-09-04 Microvision Inc. Frequency tunable resonant scanner with auxiliary arms
US6697062B1 (en) 1999-08-06 2004-02-24 Microsoft Corporation Reflection space image based rendering
US6760080B1 (en) 1999-08-19 2004-07-06 Garret R. Moddel Light modulating eyewear assembly
JP3773773B2 (ja) 1999-10-27 2006-05-10 三洋電機株式会社 画像信号処理装置及び画素欠陥の検出方法
US6438664B1 (en) * 1999-10-27 2002-08-20 Advanced Micro Devices, Inc. Microcode patch device and method for patching microcode using match registers and patch routines
JP3660182B2 (ja) 1999-12-03 2005-06-15 株式会社リコー 画像処理装置
JP2001169068A (ja) * 1999-12-14 2001-06-22 Ricoh Co Ltd 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2001186332A (ja) 1999-12-27 2001-07-06 Ricoh Co Ltd 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
US7038818B2 (en) * 1999-12-27 2006-05-02 Ricoh Company, Ltd Method and apparatus for image processing method, and a computer product
JP3922859B2 (ja) * 1999-12-28 2007-05-30 株式会社リコー 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
EP1247404B1 (en) * 2000-01-12 2004-10-06 University of East Anglia Colour signal processing
JP3789711B2 (ja) 2000-01-31 2006-06-28 株式会社リコー 画像処理装置
JP3732702B2 (ja) 2000-01-31 2006-01-11 株式会社リコー 画像処理装置
EP1264281A4 (en) 2000-02-25 2007-07-11 Univ New York State Res Found ARRANGEMENT AND METHOD FOR PROCESSING AND PLAYING A VOLUME
JP2001273267A (ja) * 2000-03-27 2001-10-05 Ricoh Co Ltd Ｓｉｍｄ型プロセッサー、並列処理装置、画像処理装置、複写機、プリンター、ファクシミリ装置、スキャナー、並列処理方法、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
GB2363018B (en) 2000-04-07 2004-08-18 Discreet Logic Inc Processing image data
JP2001320584A (ja) 2000-05-08 2001-11-16 Ricoh Co Ltd 画像処理装置及び画像形成装置
US7023479B2 (en) 2000-05-16 2006-04-04 Canon Kabushiki Kaisha Image input apparatus having addition and subtraction processing
US6594388B1 (en) * 2000-05-25 2003-07-15 Eastman Kodak Company Color image reproduction of scenes with preferential color mapping and scene-dependent tone scaling
JP4497759B2 (ja) * 2000-06-30 2010-07-07 キヤノン株式会社 画像処理装置及びその処理方法
US6707452B1 (en) 2000-07-19 2004-03-16 Pixar Method and apparatus for surface approximation without cracks
US6816625B2 (en) 2000-08-16 2004-11-09 Lewis Jr Clarence A Distortion free image capture system and method
JP4148655B2 (ja) 2000-09-01 2008-09-10 株式会社リコー 画像読取装置、画像形成装置及び白基準データ作成方法
JP3907155B2 (ja) 2000-09-04 2007-04-18 株式会社リコー 画像データ補正装置，画像読取り装置および画像形成装置
JP5108172B2 (ja) * 2000-09-06 2012-12-26 株式会社ニコン 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体
JP3766308B2 (ja) 2000-10-18 2006-04-12 富士写真フイルム株式会社 カメラおよび画像形成システム
JP2002218328A (ja) * 2001-01-19 2002-08-02 Ricoh Co Ltd 画像入力装置、画像入力方法、およびその方法を実行するためのプログラムを格納したことを特徴とするコンピュータが読み取り可能な記録媒体
US7129975B2 (en) * 2001-02-07 2006-10-31 Dialog Imaging System Gmbh Addressable imager with real time defect detection and substitution
US7088388B2 (en) 2001-02-08 2006-08-08 Eastman Kodak Company Method and apparatus for calibrating a sensor for highlights and for processing highlights
US6900836B2 (en) 2001-02-19 2005-05-31 Eastman Kodak Company Correcting defects in a digital image caused by a pre-existing defect in a pixel of an image sensor
GB0105103D0 (en) 2001-03-01 2001-04-18 Superscape Ltd Texturing method and Apparatus
DE20103710U1 (de) * 2001-03-02 2002-04-18 Webasto Vehicle Sys Int Gmbh Sonnenrollo für ein Fahrzeugdach und Fahrzeugdach mit einem bewegbaren Deckel
JP4086520B2 (ja) * 2001-03-19 2008-05-14 株式会社リコー 多値画像の符号化及び復号化方法並びに装置
US20020167602A1 (en) * 2001-03-20 2002-11-14 Truong-Thao Nguyen System and method for asymmetrically demosaicing raw data images using color discontinuity equalization
US7492909B2 (en) * 2001-04-05 2009-02-17 Motorola, Inc. Method for acoustic transducer calibration
US7209168B2 (en) 2001-04-11 2007-04-24 Micron Technology, Inc. Defective pixel correction method and system
JP4416959B2 (ja) * 2001-04-26 2010-02-17 富士通マイクロエレクトロニクス株式会社 Ｘｙアドレス型固体撮像装置のフリッカノイズ低減方法
JP4129812B2 (ja) 2001-05-24 2008-08-06 株式会社リコー 画像処理方法，装置および画像形成装置
US6737625B2 (en) * 2001-06-28 2004-05-18 Agilent Technologies, Inc. Bad pixel detection and correction in an image sensing device
CN1273931C (zh) 2001-07-12 2006-09-06 杜莱布斯公司 改进图象质量的方法和系统
FR2827459B1 (fr) 2001-07-12 2004-10-29 Poseidon Procede et systeme pour fournir a des logiciels de traitement d'image des informations formatees liees aux caracteristiques des appareils de capture d'image et/ou des moyens de restitution d'image
US20030035100A1 (en) 2001-08-02 2003-02-20 Jerry Dimsdale Automated lens calibration
JP2003085542A (ja) 2001-09-07 2003-03-20 Neucore Technol Inc 画像データ校正方法および装置
US7023432B2 (en) 2001-09-24 2006-04-04 Geomagic, Inc. Methods, apparatus and computer program products that reconstruct surfaces from data point sets
US7146041B2 (en) 2001-11-08 2006-12-05 Fuji Photo Film Co., Ltd. Method and apparatus for correcting white balance, method for correcting density and recording medium on which program for carrying out the methods is recorded
KR20040058277A (ko) 2001-11-13 2004-07-03 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 캘리브레이션 유도 방법, 이미지 처리 방법 및 이미지시스템
JP2003230010A (ja) 2001-11-30 2003-08-15 Ricoh Co Ltd 画像処理装置及び画像処理方法
KR100407158B1 (ko) * 2002-02-07 2003-11-28 삼성탈레스 주식회사 적외선 열상장비의 시변결점 보상방법 및 장치
JP3983573B2 (ja) * 2002-03-06 2007-09-26 富士重工業株式会社 ステレオ画像特性検査システム
US20030169353A1 (en) * 2002-03-11 2003-09-11 Renato Keshet Method and apparatus for processing sensor images
US7015909B1 (en) 2002-03-19 2006-03-21 Aechelon Technology, Inc. Efficient use of user-defined shaders to implement graphics operations
US6859202B2 (en) 2002-04-23 2005-02-22 Alias Systems Corp. Conversion of a hierarchical subdivision surface to nurbs
US6891543B2 (en) 2002-05-08 2005-05-10 Intel Corporation Method and system for optimally sharing memory between a host processor and graphics processor
JP3971246B2 (ja) * 2002-06-03 2007-09-05 富士フイルム株式会社 デジタル撮影装置
US7202894B2 (en) * 2002-06-04 2007-04-10 Micron Technology, Inc. Method and apparatus for real time identification and correction of pixel defects for image sensor arrays
US7019881B2 (en) 2002-06-11 2006-03-28 Texas Instruments Incorporated Display system with clock dropping
JP2005531974A (ja) 2002-07-01 2005-10-20 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 欠陥画像サンプルの誤った画像サンプルデータの検出デバイスおよび検出方法
US7218418B2 (en) * 2002-07-01 2007-05-15 Xerox Corporation Digital de-screening of documents
US6950099B2 (en) 2002-07-01 2005-09-27 Alias Systems Corp. Approximation of Catmull-Clark subdivision surfaces by Bezier patches
JP4147059B2 (ja) 2002-07-03 2008-09-10 株式会社トプコン キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置
US7015961B2 (en) * 2002-08-16 2006-03-21 Ramakrishna Kakarala Digital image system and method for combining demosaicing and bad pixel correction
US6856441B2 (en) 2002-08-23 2005-02-15 T-Networks, Inc. Method of tuning wavelength tunable electro-absorption modulators
JP4191449B2 (ja) 2002-09-19 2008-12-03 株式会社トプコン 画像キャリブレーション方法、画像キャリブレーション処理装置、画像キャリブレーション処理端末
JP4359035B2 (ja) 2002-11-21 2009-11-04 富士通株式会社 光中継器
US7142234B2 (en) * 2002-12-10 2006-11-28 Micron Technology, Inc. Method for mismatch detection between the frequency of illumination source and the duration of optical integration time for imager with rolling shutter
GB0229096D0 (en) 2002-12-13 2003-01-15 Qinetiq Ltd Image stabilisation system and method
JP4154661B2 (ja) 2003-01-14 2008-09-24 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
WO2004063989A2 (en) 2003-01-16 2004-07-29 D-Blur Technologies Ltd. Camera with image enhancement functions
EP1447977A1 (en) 2003-02-12 2004-08-18 Dialog Semiconductor GmbH Vignetting compensation
US6839062B2 (en) * 2003-02-24 2005-01-04 Microsoft Corporation Usage semantics
KR100505681B1 (ko) 2003-03-31 2005-08-02 삼성전자주식회사 베이어 패턴 컬러 신호에 대한 적응형 필터로 보간을수행하여 해상도를 높이는 보간기, 이를 구비한 디지털영상 신호 처리 장치, 및 그 방법
US7046306B2 (en) 2003-03-31 2006-05-16 Texas Instruments Incorporated Processing a video signal using motion estimation to separate luminance information from chrominance information in the video signal
CN1290059C (zh) * 2003-04-18 2006-12-13 北京中星微电子有限公司 一种缺陷像素动态检测和补偿方法
US7529424B2 (en) 2003-05-02 2009-05-05 Grandeye, Ltd. Correction of optical distortion by image processing
JP3826904B2 (ja) 2003-07-08 2006-09-27 ソニー株式会社 撮像装置およびフリッカ低減方法
JP3984936B2 (ja) * 2003-08-08 2007-10-03 キヤノン株式会社 撮像装置および撮像方法
JP4307934B2 (ja) 2003-08-13 2009-08-05 株式会社トプコン 画像補正機能付撮影装置及び方法、並びに撮影装置及び方法
JP3944647B2 (ja) 2003-10-21 2007-07-11 コニカミノルタホールディングス株式会社 物体計測装置、物体計測方法、およびプログラム
US7219085B2 (en) 2003-12-09 2007-05-15 Microsoft Corporation System and method for accelerating and optimizing the processing of machine learning techniques using a graphics processing unit
US7382400B2 (en) 2004-02-19 2008-06-03 Robert Bosch Gmbh Image stabilization system and method for a video camera
US7502505B2 (en) 2004-03-15 2009-03-10 Microsoft Corporation High-quality gradient-corrected linear interpolation for demosaicing of color images
JP4201812B2 (ja) 2004-03-25 2008-12-24 三洋電機株式会社 情報データ提供装置、および画像処理装置
KR100585004B1 (ko) 2004-04-21 2006-05-29 매그나칩 반도체 유한회사 이미지센서의 디지털 신호 처리 장치
CN1275870C (zh) 2004-04-23 2006-09-20 丁建军 电解阴阳离子交换废水再利用方法及其设备
EP1594308A1 (en) 2004-05-07 2005-11-09 Dialog Semiconductor GmbH Single line Bayer filter RGB bad pixel correction
US7728880B2 (en) 2004-06-25 2010-06-01 Qualcomm Incorporated Automatic white balance method and apparatus
US7724258B2 (en) 2004-06-30 2010-05-25 Purdue Research Foundation Computer modeling and animation of natural phenomena
JP2006025005A (ja) 2004-07-06 2006-01-26 Fuji Photo Film Co Ltd 撮影システム
EP1622393B1 (en) 2004-07-30 2010-03-31 STMicroelectronics S.r.l. Color interpolation using data dependent triangulation
JP4359543B2 (ja) * 2004-08-23 2009-11-04 富士フイルム株式会社 撮像装置
US7558428B2 (en) 2004-09-13 2009-07-07 Microsoft Corporation Accelerated video encoding using a graphics processing unit
JP4183669B2 (ja) 2004-09-16 2008-11-19 三洋電機株式会社 電子透かし埋め込み装置と方法ならびに電子透かし抽出装置と方法
JP2006121612A (ja) 2004-10-25 2006-05-11 Konica Minolta Photo Imaging Inc 撮像装置
JP4322781B2 (ja) 2004-11-08 2009-09-02 富士フイルム株式会社 撮像装置
KR100699831B1 (ko) 2004-12-16 2007-03-27 삼성전자주식회사 베이어 패턴의 컬러 신호를 보간하는 방법 및 보간기
WO2006078861A2 (en) 2005-01-18 2006-07-27 Board Of Regents, The University Of Texas System Method, system and apparatus for a time stamped visual motion sensor
US7576783B2 (en) 2005-02-04 2009-08-18 Hau Hwang Confidence based weighting for color interpolation
US7780089B2 (en) 2005-06-03 2010-08-24 Hand Held Products, Inc. Digital picture taking optical reader having hybrid monochrome and color image sensor array
US7580070B2 (en) 2005-03-31 2009-08-25 Freescale Semiconductor, Inc. System and method for roll-off correction in image processing
US20060293089A1 (en) * 2005-06-22 2006-12-28 Magix Ag System and method for automatic creation of digitally enhanced ringtones for cellphones
US7634151B2 (en) * 2005-06-23 2009-12-15 Hewlett-Packard Development Company, L.P. Imaging systems, articles of manufacture, and imaging methods
JP2007019959A (ja) 2005-07-08 2007-01-25 Nikon Corp 撮像装置
CN1953504B (zh) 2005-10-21 2010-09-29 意法半导体研发（上海）有限公司 用于cfa图像插值的自适应分类方法
US7750956B2 (en) 2005-11-09 2010-07-06 Nvidia Corporation Using a graphics processing unit to correct video and audio data
US7486844B2 (en) 2005-11-17 2009-02-03 Avisonic Technology Corporation Color interpolation apparatus and color interpolation method utilizing edge indicators adjusted by stochastic adjustment factors to reconstruct missing colors for image pixels
JP2007148500A (ja) 2005-11-24 2007-06-14 Olympus Corp 画像処理装置および画像処理方法
JP4509925B2 (ja) 2005-12-27 2010-07-21 株式会社メガチップス 画像処理装置及びカメラシステム並びに画像処理方法及び動画像表示方法
US7881563B2 (en) 2006-02-15 2011-02-01 Nokia Corporation Distortion correction of images using hybrid interpolation technique
JP4740769B2 (ja) 2006-03-02 2011-08-03 日本放送協会 画像歪補正装置
JP2007282158A (ja) 2006-04-12 2007-10-25 Konica Minolta Holdings Inc 撮像装置
JP2007293431A (ja) 2006-04-21 2007-11-08 Megachips Lsi Solutions Inc 画像処理装置
KR100809344B1 (ko) 2006-05-26 2008-03-05 삼성전자주식회사 자동 백색 밸런싱 방법 및 장치
KR100780932B1 (ko) 2006-05-30 2007-11-30 엠텍비젼 주식회사 컬러 보간 방법 및 장치
US8068140B2 (en) 2006-08-07 2011-11-29 Avago Technologies General Ip (Singapore) Pte. Ltd. Still image stabilization suitable for compact camera environments
US8406562B2 (en) 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
JP2008085388A (ja) 2006-09-25 2008-04-10 Fujifilm Corp 撮像装置
US7912279B2 (en) 2006-10-26 2011-03-22 Qualcomm Incorporated Automatic white balance statistics collection
US8049789B2 (en) 2006-12-15 2011-11-01 ON Semiconductor Trading, Ltd White balance correction using illuminant estimation
JP2008277926A (ja) 2007-04-25 2008-11-13 Kyocera Corp 画像データ処理方法と該方法を用いた撮像装置
ITVA20070059A1 (it) 2007-07-03 2009-01-04 St Microelectronics Srl Metodo e relativo dispositivo di interpolazione di colori di un'immagine acquisita mediante un sensore di colore digitale
JP4914303B2 (ja) 2007-07-13 2012-04-11 シリコン ヒフェ ベー．フェー． 画像処理装置及び撮像装置、画像処理方法及び撮像方法、画像処理プログラム
US8054335B2 (en) 2007-12-20 2011-11-08 Aptina Imaging Corporation Methods and system for digitally stabilizing video captured from rolling shutter cameras
US9379156B2 (en) 2008-04-10 2016-06-28 Nvidia Corporation Per-channel image intensity correction
US8749662B2 (en) 2009-04-16 2014-06-10 Nvidia Corporation System and method for lens shading image correction

Also Published As

Publication number Publication date
JP4790022B2 (ja) 2011-10-12
US20100173669A1 (en) 2010-07-08
US20070103567A1 (en) 2007-05-10
US8456548B2 (en) 2013-06-04
US20100171845A1 (en) 2010-07-08
GB0806799D0 (en) 2008-05-14
TWI337036B (en) 2011-02-01
CN101305620B (zh) 2011-08-10
US8456549B2 (en) 2013-06-04
WO2007056459A3 (en) 2007-11-15
KR20080056004A (ko) 2008-06-19
US20100173670A1 (en) 2010-07-08
WO2007056459A2 (en) 2007-05-18
TW200731768A (en) 2007-08-16
US7750956B2 (en) 2010-07-06
DE112006003031T5 (de) 2008-10-02
US8456547B2 (en) 2013-06-04
GB2444470A (en) 2008-06-04
DE112006003031B4 (de) 2012-08-09
GB2444470B (en) 2011-04-13
CN101305620A (zh) 2008-11-12
JP2009515486A (ja) 2009-04-09

Similar Documents

Publication Publication Date Title
KR100996995B1 (ko) Ｇｐｕ 사용 방법 및 장치
JP4709084B2 (ja) 画像処理装置及び画像処理方法
JP5045421B2 (ja) 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
US20080117318A1 (en) Image processing apparatus, image processing method, and program
US9721609B2 (en) Image capturing apparatus, image capturing system, and control method for the image capturing apparatus
US8482627B2 (en) Information processing apparatus and method
JP2004336106A (ja) 画像処理装置、画像処理方法ならびに撮像装置
JP2020166628A (ja) 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法
JP4992698B2 (ja) 色収差補正装置、撮像装置、色収差算出方法および色収差算出プログラム
JP6300529B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP5656561B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP2013219665A (ja) 撮像装置、その制御方法およびプログラム
JP2006140654A (ja) 欠陥検出補正回路及び欠陥検出補正方法
JP4136776B2 (ja) 補正装置、撮像装置、補正方法、コンピュータが読み取り可能な記憶媒体、及びプログラム
JP3938098B2 (ja) 補正装置、及び撮像装置
JP2015126416A (ja) 画像処理装置、制御方法およびプログラム
JP4136775B2 (ja) 補正装置、撮像装置、補正方法、コンピュータが読み取り可能な記憶媒体、及びプログラム
US20200314349A1 (en) Image processing device, image processing method, and program
JP3938097B2 (ja) 補正装置、撮像装置、補正方法、コンピュータが読み取り可能な記憶媒体、及びプログラム
JP6247513B2 (ja) 撮像装置、制御方法およびプログラム
JP2011160204A (ja) 画像処理装置、画像処理方法およびプログラム
JP5241596B2 (ja) 撮像装置、撮像装置の制御方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131101

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141107

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee