KR20010069575A - 디지털 카메라 - Google Patents

디지털 카메라 Download PDF

Info

Publication number
KR20010069575A
KR20010069575A KR1020010020664A KR20010020664A KR20010069575A KR 20010069575 A KR20010069575 A KR 20010069575A KR 1020010020664 A KR1020010020664 A KR 1020010020664A KR 20010020664 A KR20010020664 A KR 20010020664A KR 20010069575 A KR20010069575 A KR 20010069575A
Authority
KR
South Korea
Prior art keywords
image data
unit
image
data
signal
Prior art date
Application number
KR1020010020664A
Other languages
English (en)
Other versions
KR100405775B1 (ko
Inventor
승엽 이
이민식
이성우
Original Assignee
송재수
주식회사 비에스텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 송재수, 주식회사 비에스텍 filed Critical 송재수
Priority to KR10-2001-0020664A priority Critical patent/KR100405775B1/ko
Publication of KR20010069575A publication Critical patent/KR20010069575A/ko
Application granted granted Critical
Publication of KR100405775B1 publication Critical patent/KR100405775B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095—Systems or arrangements for the transmission of the picture signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32267—Methods relating to embedding, encoding, decoding, detection or retrieval operations combined with processing of the image
    • H04N1/32272—Encryption or ciphering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

화상 데이터의 인증 및 암호화 통신이 가능한 디지털 카메라가 개시된다.
본 화상 데이터의 인증 및 암호화 통신이 가능한 디지털 카메라는, 광학계 및 촬상 소자에 의해 촬영된 화상에 개인 정보를 추가하여 라벨링 처리함으로써 가공된 화상 데이터를 생성하는 화상 데이터 생성부; 화상 데이터 생성부에 의해 생성된 화상 데이터를 암호화하고, 암호화된 화상 데이터에 대한 인증 정보를 생성하는 한편, 상기 화상 데이터의 암호화를 위해 사용된 세션키를 암호화하는 데이터 암호화 및 인증정보 생성부; 및 데이터 암호화 및 인증정보 생성부에 의해 생성된암호화된 화상 데이터, 암호화된 세션키 및 인증정보를 외부로 전송하는 화상 데이터 전송부를 포함한다.
이와 같은 본 발명에 의하면, 촬영된 화상에 개인 정보를 추가하여 라벨링 처리에 의해 생성된 화상 데이터를 세션키로 암호화하고, 암호화된 화상 데이터에 인증정보를 추가하며, 세션키 또한 서버의 공개키로 암호화하여 전송함으로써 촬영된 화상의 디지털 데이터를 효과적으로 인증하고, 데이터의 무결성(변조 방지)을 확보할 수 있으며, 데이터 송/수신 과정에서의 해킹을 방지할 수 있다.

Description

디지털 카메라{A Digital camera}
본 발명은 디지털 카메라에 관한 것으로서, 더 상세하게는 디지털 카메라에 의해 촬영된 화상의 디지털 데이터를 송/수신 함에 있어서 화상 데이터를 세션키로 암호화하고, 암호화된 화상 데이터에 인증정보를 추가하며, 세션키 또한 서버의 공개키로 암호화하여 전송함으로써 촬영된 화상의 디지털 데이터를 효율적으로 인증하고, 데이터의 무결성(변조 방지)을 확보하며, 데이터 송/수신 과정에서의 해킹을 방지할 수 있는 디지털 카메라에 관한 것이다.
최근에 기존의 필름식 카메라와는 그 개념을 근본적으로 달리하는 디지털 카메라가 급속히 보급되고 있다. 디지털 카메라는 광학렌즈계를 통해 피사체를 촬영하고, 그 촬영된 영상 정보를 디지털 데이터로서 메모리 카드 등에 보존한다. 그리고, 메모리 카드에 보존된 디지털 데이터는 컴퓨터를 이용하여 사용자가 원하는 형태로 가공이 가능하고, 네트워크 등을 통해 용이하게 유통시킬 수 있다. 따라서, 디지털 카메라에 대한 수요는 더욱 증가될 것으로 예측된다.
디지털 카메라는 일반 카메라와 전체적인 구성에 있어서는 유사하지만, CCD (Charge-Coupled Device) 유니트가 추가되는 점과, 필름 대신에 메모리 카드가 구비되는 점이 다르다. 이와 같은 디지털 카메라는 기존 카메라의 광학 메커니즘을 이용한다는 점에서는 기존 카메라와 동일하지만, 렌즈를 통해 들어온 상(광신호)은 기존 카메라에서의 필름 대신에 화상 센서인 CCD에 의해 전기신호(아날로그 신호)로 변환되고, 그 아날로그 신호는 다시 디지털 데이터로 변환되어 메모리 카드에 저장된다.
도 1은 종래 디지털 카메라의 화상처리계의 개략적인 시스템 구성도이다.
도 1을 참조하면, 촬영 대상(피사체)으로부터의 반사광(광신호)은 광학계 (101)를 통해 입사되어 화상 센서인 CCD(102)에 의해 하나의 상이 형성된다. CCD (102)는 입력된 광신호를 전기신호(아날로그 신호)로 변환하고, 신호처리부(103)는 아날로그 신호를 다시 디지털 신호인 화상 데이터로 변환 처리한다. 신호처리부 (103)에 의해 생성된 화상 데이터는 다이제스트 계산부(104)로 입력되고, 다이제스트 계산부(104)는 화상 전체의 데이터에 대한 해시(hash)값(H)을 계산한다. 여기서, 해시값(H)은 화상 데이터에 기초한 연산에 의해 정해지는, 화상의 특징을 나타내는 특정값(다이제스트)이다. 다이제스트로서의 해시값(H)은, 화상 내용이 다르면서로 다른 값이 된다. 암호 변환부(105)는 다이제스트 계산부(104)에 의해 계산된 해시값(H)을 입력받아, 외부로부터 입력된 비밀키(비밀 정보)(SK)를 이용하여 암호화하고, 암호화된 해시값(H')을 출력한다. 이 암호화된 해시값(H')이 인증 정보이며, 이 인증 정보는 화상 데이터와는 별도의 파일 형태로 첨부된다.
한편, 화상 데이터가 원래(최초)의 화상 데이터와 동일한지, 즉 화상 데이터가 변경되지 않았는지를 판단하기 위해서는, 통상 화상 데이터, 인증 정보(별도의 파일로서 화상 데이터에 첨부) 및 비밀키(SK)에 대응한 공개키(PK)(권한을 가진 사람으로부터 별도로 입수) 등의 정보가 필요하다.
화상 데이터의 변경을 검출하고자 할 경우, 우선 인증하고자 하는 화상 데이터의 해시값(H1)을 계산한다. 다음에 첨부 파일 중의 인증 정보로부터 해시값(H2)을 특정한다. 여기서, 인증 정보는, 원래의 화상 데이터의 해시값(H)을 비밀키(SK)에 의해 암호화한 것(해시값(H'))이므로, 그것에 의해서는 해시값(H2)을 특정할 수 없다. 따라서, 비밀키(SK)에 대응한 공개키(PK)를 보관하고 있는 권한 있는 사람으로부터 그 공개키(PK)를 입수하고, 이것에 기초하여, 인증 정보를 복호화한다. 그리고, 얻어진 해시값(H2)을 상기 계산한 해시값(H1)과 비교한다. 인증 대상으로서의 화상 데이터가 원래의 화상 데이터와 동일하면, 상기 두 해시값은 일치할 것이다. 다이제스트로서의 해시값은 화상의 내용이 다를 경우 그 값이 다를 것이기 때문이다. 따라서, 해시값이 일치하는 경우에는 동일성이 인정되고, 다른 경우에는 변경된 것으로 판단하게 된다.
이상과 같이, 종래 기술에서의 동일성 인증은 화상 데이터와는 별도로 인증 정보를 첨부하고, 검증 시에 인증 정보가 첨부되어 있는 것을 전제로 인증을 행한다. 따라서, 인증 정보가 누락되어 있는 경우에는 검증을 행할 수 없는 문제점이 있다. 또한, 검증자는 인증 정보의 보관과 관리에 각별한 주의를 기울일 것을 요구받고 있다.
이상과 같은 종래 기술에 대한 대응책으로, 화상의 동일성을 인증하기 위한 인증 정보를 화상 내에 은폐하는 기능을 갖는 디지털 카메라에 대한 기술이 국내 등록특허공보(등록번호 10-0264635, "인증정보를 화상에 은폐하는 시스템 및 화상 인증 시스템")에 개시되어 있다. 그러나, 이 기술에 따른 비밀키 입력 방식은 화상정보의 특정 영역의 해시(hash) 값을 계산하고, 그 값을 비밀키로 암호화하여 그것을 다시 하이딩(hiding) 부분을 거쳐 원래의 화상 데이터에 삽입하는 방식을 취하고 있다. 따라서, 특정 영역 이외의 다른 영역에서 화상 정보의 변조가 발생되는 경우 인증을 제대로 수행할 수 없는 문제가 있다.
본 발명은 상기와 같은 문제점을 감안하여 창출된 것으로서, 촬영된 화상의 디지털 데이터를 효과적으로 인증하고, 데이터의 무결성(변조 방지)을 확보할 수 있으며, 데이터 송/수신 과정에서의 해킹을 방지할 수 있는 디지털 카메라를 제공함에 그 목적이 있다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것으로서, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술적 사상의 이해를 돕기 위한 것이다. 따라서, 본 발명은 그와 같은 도면에 개시된 사항에만 한정되어 해석되어서는 안된다.
도 1은 종래 디지털 카메라의 화상처리계의 개략적인 시스템 구성도.
도 2는 본 발명의 제 1 실시예에 따른 디지털 카메라의 개략적인 시스템 구성도.
도 3은 도 2에 도시된 라벨링 처리부의 내부 시스템 구성도.
도 4는 본 발명의 제 2 실시예에 따른 디지털 카메라의 개략적인 시스템 구성도.
도 5a 내지 도 5e는 본 발명의 제 2, 제 3 실시예에 따른 디지털 카메라에 있어서, 비밀키 입력부의 다양한 실시예를 보여주는 도면.
도 6은 본 발명의 제 3 실시예에 따른 디지털 카메라의 전체적인 시스템 구성을 보여주는 블록도.
도 7은 본 발명의 제2, 제3 실시예에 따른 디지털 카메라에 있어서, 암호화 데이터 및 암호화 세션키를 생성하는 과정을 보여주는 도면.
<도면의 주요 부분에 대한 부호의 설명>
101,201,401,611...광학계 102,202,402,612...CCD
103,203,403,613...신호처리부 104,408,623...다이제스트 계산부
105,407,622,...암호변환부 204,404,614...라벨링 처리부
205,405,615...개인정보 입력부 406...임시 메모리
409,624...비밀키 입력부 410,625...비밀키
411,626...세션키 412,627...마스터키
413,628...난수발생기 414,629...서버공개키
621...제1 임시 메모리 631...제2 임시 메모리
상기의 목적을 달성하기 위하여 본 발명의 제 1 실시예에 따른 디지털 카메라는, 촬영 대상으로부터의 반사광을 입사받는 광학계와, 그 광학계를 통해 입력된 화상의 광신호를 전기신호인 아날로그 신호로 변환하는 CCD와, 그 CCD에 의해 변환된 아날로그 신호를 디지털 신호인 화상 데이터로 변환하는 신호처리부와, 사용자의 개인 정보 또는 촬영 환경정보를 입력하기 위한 개인정보 입력부와; 상기 신호처리부에 의해 생성된 화상 데이터와 상기 개인정보 입력부를 통해 입력된 사용자의 개인 정보 또는 촬영 환경정보를 결합하는 라벨링 처리부를 포함하는 점에 그 특징이 있다.
또한, 상기의 목적을 달성하기 위하여 본 발명의 제2 실시예에 따른 디지털 카메라는, 촬영 대상으로부터의 반사광을 입사받는 광학계와, 그 광학계를 통해 입력된 화상의 광신호를 전기신호인 아날로그 신호로 변환하는 CCD와, 그 CCD에 의해 변환된 아날로그 신호를 디지털 신호인 화상 데이터로 변환하는 신호처리부와, 사용자의 개인 정보 또는 촬영 환경정보를 입력하기 위한 개인정보 입력부와; 상기 신호처리부에 의해 생성된 화상 데이터와 상기 개인정보 입력부를 통해 입력된 사용자의 개인 정보 또는 촬영 환경정보를 결합하는 라벨링 처리부와; 상기 라벨링 처리부로부터 전송된 화상 데이터를 세션키로 암호화하는 암호 변환부와; 상기 암호변환부로부터 암호화된 화상 데이터를 입력받아 그것을 바탕으로 해시 함수를 실행하여 해시 함수값을 계산하고, 그것을 비밀키로 암호화하여 인증정보를 생성하는 다이제스트 계산부; 및 사용자로부터의 비밀키를 입력받아 그 정보를 상기 다이제스트 계산부에 제공하는 비밀키 입력부를 포함하는 점에 그 특징이 있다.
또한, 상기의 목적을 달성하기 위하여 본 발명의 제3 실시예에 따른 디지털카메라는, 광학계 및 촬상 소자에 의해 촬영된 화상에 개인 정보를 추가하여 라벨링 처리함으로써 가공된 화상 데이터를 생성하는 화상 데이터 생성부; 상기 화상 데이터 생성부에 의해 생성된 화상 데이터를 암호화하고, 암호화된 화상 데이터에 대한 인증 정보를 생성하는 한편, 상기 화상 데이터의 암호화를 위해 사용된 세션키를 암호화하는 데이터 암호화 및 인증정보 생성부; 및 상기 데이터 암호화 및 인증정보 생성부에 의해 생성된 암호화된 화상 데이터, 암호화된 세션키 및 인증정보를 외부로 전송하는 화상 데이터 전송부를 포함하는 점에 그 특징이 있다.
이와 같은 본 발명에 의하면, 촬영된 화상에 개인 정보 또는 촬영 환경정보를 추가하여 라벨링 처리에 의해 생성된 화상 데이터를 세션키로 암호화하고, 암호화된 화상 데이터에 인증정보를 추가하며, 세션키 또한 서버의 공개키로 암호화하여 전송함으로써 촬영된 화상의 디지털 데이터를 효과적으로 인증하고, 데이터의 무결성(변조 방지)을 확보할 수 있으며, 데이터 송/수신 과정에서의 해킹을 방지할 수 있다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적인 혹은 사전적인 의미로 한정하여 해석되어서는 안된다. 즉, 발명자는 그 자신의 발명을 가장 적합하게 설명하기 위해 용어의 개념을 임의적으로 적절히 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과한 것으로 본 발명의 기술적 사상을 모두 대변하는 것은아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 2는 본 발명의 제 1 실시예에 따른 디지털 카메라의 개략적인 시스템 구성도이다.
도 2를 참조하면, 본 발명의 제 1 실시예에 따른 디지털 카메라는 광학계(201), CCD(202), 신호처리부(203), 라벨링 처리부(204) 및 개인정보 입력부(205)를 포함하여 구성된다.
광학계(201)는 촬영 대상(피사체)으로부터의 반사광을 입사받는다. 통상 카메라의 렌즈부에 해당되는 곳이다.
CCD(202)는 광학계(201)를 통해 입력된 화상의 광신호를 전기신호(아날로그 신호)로 변환한다.
신호처리부(203)는 CCD(202)에 의해 변환된 아날로그 신호를 디지털 신호인 화상 데이터로 변환한다.
라벨링 처리부(204)는 촬영된 이미지와 상기 개인정보 입력부(205)를 통해 사용자(촬영자)에 의해 입력된 추가 정보(예를 들면, 위치 정보나 사진의 내용에 대한 특정정보 등)를 결합한다. 이 라벨링 처리부(204)는 도 3에 도시된 바와 같이, 이미지 확대부(204a)와 마스킹부(204b)로 구성된다. 이미지 확대부(204a)는 생성된 이미지(화상 데이터)에 라벨링할 부분을 붙여 화상정보의 크기를 확대한다. 여기서, 화상 정보의 크기 확대에 있어서, 이미지 영역의 상단, 하단, 측면 중 어느 곳이든지 확대가 가능하다. 마스킹부(204b)는 개인정보 입력부(205)를 통해 입력된 개인 정보(예를 들면, 사용자의 이름, 소속, 서명 등)와, 촬영에 관한 촬영 환경정보(사용자가 개인 정보를 입력하면서 이 촬영과 관련된 환경정보도 입력하게 됨)를 이미지 확대부(204a)에 의해 이미지가 확대된 부분에 입력한다.
개인정보 입력부(205)는 사용자 이름, 소속, 촬영 일시 등의 정보와 서명 등의 정보를 입력할 수 있는 부분으로서, 키보드(전자계산기 형태의 자판)나 터치 패드 등의 입력 수단이 활용될 수 있다.
도 4는 본 발명의 제 2 실시예에 따른 디지털 카메라의 개략적인 시스템 구성도이다.
도 4를 참조하면, 본 발명의 제 2 실시예에 따른 디지털 카메라는 광학계(401), CCD(402), 신호처리부(403), 암호변환부(407), 다이제스트 계산부(408), 비밀키 입력부(409), 난수발생기(413), 세션키 암호화부(417), 임시메모리(415) 및 데이터전송부(416)를 구비한다. 여기서, 상기 광학계(401), CCD(402), 신호처리부(403)는 상기 도 2의 제 1 실시예에서의 구성 요소인 광학계(201), CCD(202), 신호처리부(203)와 각각 동일하다. 따라서, 이들 구성 요소에 대한 설명은 생략하고, 다른 구성 요소에 대해서만 설명하기로 한다.
암호 변환부(407)는 상기 신호처리부(403)로부터 전송된 화상 데이터를 세션(session)키(411)로 암호화한다. 여기서, 세션키(411)는 통신을 하는 상대방끼리 하나의 통신 세션 동안에만 사용하는 암호화키로서, 화상정보를 암호화할 때마다 그때 그때 생성되는 것으로서 암호화된 화상정보를 전송받는 서버(미도시)에서 미리 알고 있어야만 암호화 데이터를 복호화할 수 있게 된다. 따라서, 상기 암호화데이터를 생성하는 세션키(411)를 생성하기 위해 마스터키(412)가 본 발명의 디지털 카메라 설계자에 의해 마련되며, 이 마스터키(412)는 주기적으로 업데이트(update)되고, 서버 및 디지털 카메라에 저장된다. 또한, 서버 공개키(414)는 암호화 데이터를 만들기 위해 사용된 세션키(411)를 암호화하여 전송하기 위한 서버의 공개키로서 디지털 카메라에 저장된다.
다이제스트 계산부(408)는 상기 암호 변환부(407)로부터 암호화된 화상 데이터를 입력받아 그것을 바탕으로 해시 함수(알고리즘)를 실행하여 해시 함수값을 계산하고, 그것을 비밀키 입력부(409)를 통해 입력받은 비밀키(410)로 암호화하여 인증정보를 생성한다.
비밀키 입력부(409)는 사용자로부터의 비밀키(410)를 입력받아 그 정보를 상기 다이제스트 계산부(408)에 제공한다. 여기서, 이 비밀키 입력부(409)로는 도 5a에 도시된 바와 같이 계산기 형태의 자판(501)을 카메라에 부착시키고, 자판(501)을 이용하여 사용자가 자신만이 알고 있는 비밀키를 입력하는 방식, 도 5b와 같이 카메라에 카드입력부(502)를 마련하고, 개인 비밀키(비밀정보)를 저장하고 있는 메모리 카드나 IC 카드를 카드입력부(502)에 삽입함으로써 사용자 인증을 행하는 방식, 도 5c와 같이 카메라에 음성인식부(503)를 마련하고, 개인의 고유한 음성정보를 이용하여 사용자 인증을 행하는 방식, 도 5d와 같이 카메라에 지문 인식수단 (504)을 마련하고, 사용자의 지문 인식에 의해 사용자 인증을 행하는 방식, 도 5e와 같이 카메라의 접안 렌즈 부분에 홍채 인식부(505)를 설치하여 홍채 인식에 의해 사용자 인증을 행하는 방식 등이 사용될 수 있다.
상기 세션키 암호화부(417)는 대칭키 알고리즘에 따라 생성된 세션키(411)를 서버공개키(414)로 암호화시켜 외부의 서버 컴퓨터시스템에 전송할 암호화된 세션키를 생성한다.
상기 임시 메모리(415)는 상기 인증정보, 암호화된 화상데이터 및 암호화된 세션키를 큐의 형태로 축적한다. 따라서, 이렇게 축적된 데이터는 하나씩 상기 데이터 전송부(416)를 통해 외부로 전송된다.
도 6은 본 발명의 제 3 실시예에 따른 디지털 카메라의 전체적인 시스템 구성을 보여주는 블록도이다.
도 6을 참조하면, 본 발명의 제 3 실시예에 따른 화상 데이터의 인증 및 암호화 통신이 가능한 디지털 카메라는 화상 데이터 생성부(610), 데이터 암호화 및 인증정보 생성부(620), 화상 데이터 전송부(630)로 구성된다.
상기 화상 데이터 생성부(610)는 카메라의 광학계 및 촬상 소자에 의해 촬영된 화상에 개인 정보를 추가하여 라벨링(labeling) 처리함으로써 가공된 화상 데이터를 생성한다. 이와 같은 화상 데이터 생성부(610)는 광학계(611), CCD(612), 신호처리부(613), 라벨링 처리부(614) 및 개인정보 입력부(615)로 구성된다.
광학계(611)는 촬영 대상(피사체)으로부터의 반사광을 입사받는다. 통상 카메라의 렌즈부에 해당되는 곳이다.
CCD(612)는 광학계(611)를 통해 입력된 화상의 광신호를 전기신호(아날로그 신호)로 변환한다.
신호처리부(613)는 CCD(612)에 의해 변환된 아날로그 신호를 디지털 신호인화상 데이터로 변환한다.
라벨링 처리부(614)는 촬영된 이미지(화상 데이터)와 상기 개인정보 입력부 (615)를 통해 사용자(촬영자)에 의해 입력된 추가 정보(예를 들면, 위치 정보나 사진의 내용에 대한 특정정보 등)를 결합한다. 이 라벨링 처리부(614)는 상기 제1 실시예에서의 라벨링 처리부(204)와 그 구성 및 기능에 있어서 동일하다. 따라서, 그 구체적인 구성 및 각 구성요소의 기능이나 역할에 대한 설명은 상기 제1 실시예에서의 라벨링 처리부(204)에 대한 설명으로 대체하기로 한다.
개인정보 입력부(615)는 사용자 이름, 소속, 촬영 일시 등의 정보와 서명 등의 정보를 입력할 수 있는 부분으로서, 키보드(전자계산기 형태의 자판)나 터치 패드 등의 입력 수단이 활용될 수 있다.
상기 데이터 암호화 및 인증정보 생성부(620)는 상기 화상 데이터 생성부 (610)에 의해 생성된 화상 데이터를 암호화하고, 암호화된 화상 데이터에 대한 인증 정보를 생성하는 한편, 상기 화상 데이터의 암호화를 위해 사용된 세션키를 암호화한다. 이와 같은 데이터 암호화 및 인증정보 생성부(620)는 제 1 임시 메모리 (621), 암호변환부(622), 다이제스트 계산부(623), 비밀키 입력부(624), 난수발생기(628) 및 세션키 암호화부(629a)를 포함하여 구성된다.
제 1 임시 메모리(621)는 화상 데이터 생성부(610)로부터 생성된 화상 데이터를 임시로 저장하는 역할을 한다.
암호변환부(622)는 제 1 임시 메모리(621)로부터 전송된 화상 데이터를 세션 키(626)로 암호화한다. 여기서, 세션키(626)는 통신을 하는 상대방끼리 하나의 통신 세션 동안에만 사용하는 암호화 키로서, 화상정보를 암호화할 때마다 그때 그때 생성되는 것으로서 서버(미도시)에서 알고 있어야만 암호화 데이터를 복호화할 수 있게 된다. 따라서, 상기 암호화 데이터를 생성하는 세션키(626)를 생성하기 위해 마스터키(627)가 본 발명의 디지털 카메라 설계자에 의해 마련되며, 이 마스터키 (627)는 주기적으로 업데이트되고, 서버 및 디지털 카메라에 저장된다. 또한, 서버 공개키(629)는 암호화 데이터를 만들기 위해 사용된 세션키(626)를 암호화하여 전송하기 위한 서버의 공개키로서 디지털 카메라에 저장된다.
다이제스트 계산부(623)는 암호화된 화상 데이터를 입력받아 그것을 바탕으로 해시 함수(알고리즘)를 실행하여 해시 함수값을 계산하고, 그것을 비밀키 입력부(624)를 통해 입력받은 비밀키(625)로 암호화하여 인증정보를 생성한다.
비밀키 입력부(624)는 사용자로부터의 비밀키(625)를 입력받아 그 정보를 상기 다이제스트 계산부(623)에 제공한다. 여기서, 이 비밀키 입력부(624)로는 전술한 바와 같은 도 5a 내지 도 5e에 도시된 여러 가지 방식이 사용될 수 있다.
상기 세션키 암호화부(629a)는 대칭키 알고리즘에 따라 생성된 세션키를 서버공개키로 암호화시켜 외부의 서버 컴퓨터시스템에 전송할 암호화된 세션키를 생성한다.
상기 화상 데이터 전송부(630)는 상기 데이터 암호화 및 인증정보 생성부 (620)에 의해 암호화된 화상 데이터, 암호화된 세션키 및 인증정보를 외부로 전송한다. 이와 같은 화상 데이터 전송부(630)는 제 2 임시 메모리(631)와 전송부(632)로 구성된다. 상기 데이터 암호화 및 인증정보 생성부(620)로부터 생성된 암호화데이터, 암호화된 세션키 및 인증정보는 일단 제 2 임시 메모리(631)에 큐의 형태로 축적된다. 그리고, 제 2 임시 메모리(631)에 축적된 데이터는 하나씩 전송부(632)를 통해 외부로 전송된다.
그러면, 이상과 같은 구성의 본 발명에 따른 디지털 카메라의 동작에 대해 도 6을 중심으로 설명해 보기로 한다.
촬영 대상(피사체)으로부터의 반사광이 광학계(611)를 통해 입사되면, CCD (612)는 광학계(611)를 통해 입력된 화상의 광신호를 전기신호(아날로그 신호)로 변환한다. 그리고, 신호처리부(613)는 CCD(612)에 의해 변환된 아날로그 신호를 다시 디지털 신호인 화상 데이터로 변환한다.
이렇게 하여 화상 데이터가 라벨링 처리부(614)로 전송되면, 라벨링 처리부 (614)는 그 화상 데이터와 개인정보 입력부(615)를 통해 사용자(촬영자)에 의해 입력된 추가 정보(예를 들면, 위치 정보나 사진의 내용에 대한 특정정보 등)를 결합한다. 즉, 라벨링 처리부(614)(204)(도 3 참조)의 이미지 확대부(204a)는 생성된 이미지에 라벨링할 부분을 붙여 화상정보의 크기를 확대한다. 그러면, 마스킹부 (204b)는 개인정보 입력부(615)(205)를 통해 입력된 개인 정보(추가 정보)(예를 들면, 사용자의 이름, 소속, 서명 등)와, 촬영에 관한 촬영 환경정보를 이미지 확대부(204a)에 의해 이미지가 확대된 부분에 입력한다. 이때, 이 추가 정보는 이미지 영역 내에, 즉 이미지 위에 직접 기록되거나, 이미지 영역 외에 별도로 마련된 부분(이미지 영역의 상단, 하단, 또는 측면부)에 기록될 수 있다. 그러나, 이 추가 정보는 이미지에 혹시 미치게 될지도 모를 어떤 영향을 고려하여 이미지 영역 외에별도로 마련된 부분에 기록되게 하는 것이 바람직하다.
화상 데이터 생성부(610)로부터 생성된 화상 데이터가 데이터 암호화 및 인증정보 생성부(620)로 전송되면, 제 1 임시 메모리(621)는 일단 그 전송받은 화상 데이터를 임시로 저장한다. 이때, 화상 데이터는 이 제 1 임시 메모리(621)에 큐 (queue)의 형태로 축적된다. 제 1 임시 메모리(621)에 화상 데이터가 하나 이상 쌓이고, 데이터 암호화 및 인증정보 생성부(620)에 작업중인 데이터가 없으면, 제1 임시 메모리(621)에 저장된 화상 데이터는 FIFO(First In, First Out) 방식으로 암호 변환부(622)로 전달된다. 그러면, 암호 변환부(622)는 제 1 임시 메모리(621)로부터 전달받은 화상 데이터를 세션키(626)를 이용하여 암호화하고, 그 암호화된 데이터를 다이제스트 계산부(623)로 전송한다. 이때, 암호변환부(622)는 한 개 이상의 데이터가 처리 중일 때, 제1 임시 메모리(621)로부터 더 이상의 데이터가 들어올 수 없도록 플래그(flag)(프로그래밍에서, 플래그는 무엇인가를 기억해야 하거나 또는 다른 프로그램에게 약속된 신호를 남기기 위한 용도로 사용되는 것으로서 프로그램에 의해 사용되는 미리 정의된 비트(들)를 말함)를 폴스(false)로 한다. 그리고, 데이터의 처리가 끝나고, 암호화된 데이터가 화상 데이터 전송부(630)로 전달되면 다시 플래그를 트루(true)로 하게 된다. 여기서, 상기 화상 데이터의 암호화 과정에 대해 조금 더 자세히 설명해 보기로 한다.
도 7에 도시된 바와 같이, 화상 데이터 생성부(610)로부터 생성된 라벨링 화상 정보(701)가 제1 임시 메모리(621)에 일단 저장되어 있다가 전송되어 오면, 암호변환부(622)는 그 라벨링 화상 정보(701)를 세션키(626)를 이용하여 암호화 데이터로 변환하게 된다. 이때, 화상 정보를 암호화 데이터로 변환하기 위해 SEED(국내 표준의 블록 암호화 알고리즘), DES(data encryption standard), IDEA, RC2, RC5 등의 암호화 알고리즘이 사용될 수 있다.
이상과 같이 화상 정보를 암호화 데이터로 변환하기 위해서는 암호화 데이터를 생성하는 세션키(626)의 생성이 선결되어야 하는 바, 마스터키(627)에 의해 세션키(626)의 생성이 이루어진다. 이 세션키(626)의 생성 과정에서 마스터키(627) 만으로 암호화했을 경우 키가 고정되어 유출되었을 경우 보안상의 위험이 따를 수 있다. 따라서, 난수발생기(628)에 의해 랜덤한 난수를 발생시켜서 키가 중복되어 생성되지 않도록 한다. 이때, 랜덤한 키를 생성하기 위한 알고리즘으로 대칭키 알고리즘(702)이 사용된다. 이 대칭키 알고리즘(702)으로는 SEED, triple DES, 린데일 알고리즘(세계 표준) 등이 사용될 수 있다.
한편, 서버에서 복호화 과정을 수행하기 위해서는 상기 세션키(626)를 알고 있어야만 한다. 따라서, 키공유를 위해 세션키(626)를 전송하게 된다. 이때, 이 세션키(626)를 그대로 전송할 경우, 이 또한 유출되어 보안상의 위험이 따를 수 있다. 따라서, 서버 공개키(629)를 이용하여 세션키(626)를 암호화하게 된다. 이 세션키(626)의 암호화 과정은 화상정보를 암호화하는 것이 아니라, 암호화 데이터를 만들기 위해 사용한 세션키(626) 자체를 암호화하는 것이다.
이렇게 하여 상기 암호변환부(622)에 의해 변환된 암호화 데이터는 화상 데이터 전송부(630)로 전송되는 동시에 다이제스트 계산부(623)로 전달된다. 그러면, 다이제스트 계산부(623)는 암호화 데이터를 입력받아 그것을 바탕으로 해시(hash)함수(알고리즘)를 실행하여 해시 함수값을 계산한다. 그리고, 그것을 사용자가 비밀키 입력부(624)를 통해 입력한 비밀키(625)에 의해 암호화하여 인증정보를 생성한다. 여기서, 해시 알고리즘으로는 MD4, MD5, SHA(Secure Hash Algorithm:표준 해시 알고리즘), HAS-160(국내 표준) 등이 사용될 수 있다. 이와 같은 해시 알고리즘은 데이터의 크기를 줄여서 서명을 용이하게 하도록 해주는 역할을 한다. 또한, 인증정보를 생성할 시 해시 알고리즘을 실행시켜 출력된 데이터를 공개키 알고리즘을 사용하여 비밀키(625)로 서명(사용자의 서명)을 하게 된다. 이때, 공개키 알고리즘으로는 암호화 및 인증 알고리즘인 RSA(Rivest-Shamir-Adleman), ECC(error checking and correcting) 알고리즘 등이 사용될 수 있다.
한편, 데이터 암호화 및 인증정보 생성부(620)로부터 생성된 암호화된 화상 데이터, 암호화된 세션키 및 인증정보가 화상 데이터 전송부(630)로 전달되면, 화상 데이터 전송부(630)는 그 세 가지의 정보를 일단 제 2 임시 메모리(631)에 저장한다. 이때, 전송된 암호화 데이터는 상기 제 1 임시 메모리(621)의 경우와 마찬가지로 일단 제 2 임시 메모리(631)에 큐의 형태로 축적된다.
제 2 임시 메모리(631)에 화상 데이터가 하나 이상 축적되고, 전송부(632)에서 전송중인 데이터가 없으면 제 2 임시 메모리(631)에 저장된 화상 데이터는 FIFO 방식으로 전송부(632)로 전송된다. 이때, 전송부(632)는 한 개 이상의 데이터가 처리중일 때, 더 이상의 데이터가 입력될 수 없도록 플래그를 폴스(false)로 한다. 전송부(632)는 데이터의 전송이 끝나면 플래그를 트루(true)로 하고, 제 2 임시 메모리(631)에 작업 종료를 알리는 메시지를 전달한다. 즉, 제 2 임시 메모리(631)는플래그가 트루이거나, 전송부(632)의 메시지를 수신하는 경우 화상 데이터를 하나씩 보내는 것이다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 그와 같은 것에 한정되지 않으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상과 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
이상의 설명에서와 같이 본 발명에 따른 화상 데이터의 인증 및 암호화 통신이 가능한 디지털 카메라는 촬영된 화상에 개인 정보를 추가하여 라벨링 처리에 의해 생성된 화상 데이터를 세션키로 암호화하고, 암호화된 화상 데이터에 인증정보를 추가하며, 세션키 또한 서버의 공개키로 암호화하여 전송함으로써 촬영된 화상의 디지털 데이터를 효과적으로 인증하고, 데이터의 무결성(변조 방지)을 확보할 수 있으며, 데이터 송/수신 과정에서의 해킹을 방지할 수 있는 장점이 있다.

Claims (10)

  1. 촬영 대상으로부터의 반사광을 입사받는 광학계와, 그 광학계를 통해 입력된 화상의 광신호를 전기신호인 아날로그 신호로 변환하는 CCD와, 그 CCD에 의해 변환된 아날로그 신호를 디지털 신호인 화상 데이터로 변환하는 신호처리부를 구비하는 디지털 카메라에 있어서,
    사용자의 개인 정보 또는 촬영 환경정보를 입력하기 위한 개인정보 입력부;및
    상기 신호처리부에 의해 생성된 화상 데이터와 상기 개인정보 입력부를 통해 입력된 사용자의 개인 정보 또는 촬영 환경정보를 결합하는 라벨링 처리부를 포함하는 것을 특징으로 하는 디지털 카메라.
  2. 제 1 항에 있어서,
    상기 라벨링 처리부는 생성된 이미지에 라벨링할 부분을 붙여 화상정보의 크기를 확대하는 이미지 확대부와; 상기 개인정보 입력부를 통해 입력된 개인 정보 또는 촬영에 관한 촬영 환경정보를 상기 이미지 확대부에 의해 이미지가 확대된 부분에 입력하는 마스킹부로 구성된 것을 특징으로 하는 디지털 카메라.
  3. 촬영 대상으로부터의 반사광을 입사받는 광학계와, 그 광학계를 통해 입력된 화상의 광신호를 전기신호인 아날로그 신호로 변환하는 CCD와, 그 CCD에 의해 변환된 아날로그 신호를 디지털 신호인 화상 데이터로 변환하는 신호처리부를 구비하는 디지털 카메라에 있어서,
    상기 신호처리부로부터의 디지털 화상 데이터를 세션키로 암호화하는 암호 변환부와;
    상기 세션키를 서버공개키에 근거하여 암호화하는 세션키 암호화부;
    상기 암호변환부로부터 암호화된 화상 데이터를 입력받아 그것을 바탕으로 해시 함수를 실행하여 해시 함수값을 계산하고, 그것을 비밀키로 암호화하여 인증정보를 생성하는 다이제스트 계산부;
    사용자로부터의 비밀키를 입력받아 그 정보를 상기 다이제스트 계산부에 제공하는 비밀키 입력부; 및
    상기 암호화된 화상데이터, 암호화된 세션키 및 상기 인증정보를 외부의 서버 컴퓨터 시스템에 전송하기 위한 데이터전송부를 포함하는 것을 특징으로 하는 디지털 카메라.
  4. 촬영 대상으로부터의 반사광을 입사받는 광학계와, 그 광학계를 통해 입력된 화상의 광신호를 전기신호인 아날로그 신호로 변환하는 CCD와, 그 CCD에 의해 변환된 아날로그 신호를 디지털 신호인 화상 데이터로 변환하는 신호처리부를 구비하는 디지털 카메라에 있어서,
    사용자의 개인 정보 또는 촬영 환경정보를 입력하기 위한 개인정보 입력부와;
    상기 신호처리부에 의해 생성된 화상 데이터와 상기 개인정보 입력부를 통해 입력된 사용자의 개인 정보 또는 촬영 환경정보를 결합하는 라벨링 처리부와;
    상기 라벨링 처리부로부터 전송된 화상 데이터를 세션키로 암호화하는 암호 변환부와;
    상기 세션키를 서버공개키에 근거하여 암호화하는 세션키 암호화부와;
    상기 암호변환부로부터 암호화된 화상 데이터를 입력받아 그것을 바탕으로 해시 함수를 실행하여 해시 함수값을 계산하고, 그것을 비밀키로 암호화하여 인증정보를 생성하는 다이제스트 계산부와;
    사용자로부터의 비밀키를 입력받아 그 정보를 상기 다이제스트 계산부에 제공하는 비밀키 입력부와;
    상기 암호화된 화상데이터, 암호화된 세션키 및 상기 인증정보를 외부의 서버 컴퓨터 시스템에 전송하기 위한 데이터전송부를 포함하는 것을 특징으로 하는 디지털 카메라.
  5. 광학계 및 촬상 소자에 의해 촬영된 화상에 개인 정보를 추가하여 라벨링 처리함으로써 가공된 화상 데이터를 생성하는 화상 데이터 생성부;
    상기 화상 데이터 생성부에 의해 생성된 화상 데이터를 암호화하고, 암호화된 화상 데이터에 대한 인증 정보를 생성하는 한편, 상기 화상 데이터의 암호화를 위해 사용된 세션키를 암호화하는 데이터 암호화 및 인증정보 생성부; 및
    상기 데이터 암호화 및 인증정보 생성부에 의해 생성된 암호화된 화상 데이터, 암호화된 세션키 및 인증정보를 외부로 전송하는 화상 데이터 전송부를 포함하는 것을 특징으로 하는 디지털 카메라.
  6. 제 5 항에 있어서,
    상기 화상 데이터 생성부는 촬영 대상으로부터의 반사광을 입사받는 광학계와; 상기 광학계를 통해 입력된 화상의 광신호를 전기신호인 아날로그 신호로 변환하는 CCD와; 상기 CCD에 의해 변환된 아날로그 신호를 디지털 신호인 화상 데이터로 변환하는 신호처리부와; 사용자의 개인 정보 또는 촬영 환경정보를 입력하기 위한 개인정보 입력부와; 촬영된 이미지와 상기 개인정보 입력부를 통해 입력된 사용자의 개인 정보 또는 촬영 환경정보를 결합하는 라벨링 처리부로 구성된 것을 특징으로 하는 디지털 카메라.
  7. 제 5 항에 있어서,
    상기 라벨링 처리부는 생성된 이미지에 라벨링할 부분을 붙여 화상정보의 크기를 확대하는 이미지 확대부와; 상기 개인정보 입력부를 통해 입력된 개인 정보 및 촬영에 관한 촬영 환경정보를 상기 이미지 확대부에 의해 이미지가 확대된 부분에 입력하는 마스킹부로 구성된 것을 특징으로 하는 디지털 카메라.
  8. 제 5 항에 있어서,
    상기 데이터 암호화 및 인증정보 생성부는 상기 화상 데이터 생성부로부터생성된 화상 데이터를 임시로 저장하는 제 1 임시 메모리와; 상기 제 1 임시 메모리로부터 전송된 화상 데이터를 세션키로 암호화하는 암호 변환부와; 암호화된 화상 데이터를 입력받아 그것을 바탕으로 해시 함수를 실행하여 해시 함수값을 계산하고, 그것을 비밀키로 암호화하여 인증정보를 생성하는 다이제스트 계산부로 구성된것을 특징으로 하는 디지털 카메라.
  9. 제 8 항에 있어서,
    상기 세션키를 마스터키에 의해 생성할 시 랜덤한 난수를 발생시켜서 키가 중복되어 생성되지 않도록 하는 난수 발생기를 더 포함하는 것을 특징으로 하는 디지털 카메라.
  10. 제 5 항에 있어서,
    상기 화상 데이터 전송부는 상기 데이터 암호화 및 인증정보 생성부로부터 생성된 암호화 데이터, 암호화된 세션키 및 인증정보를 전달받아 임시로 저장하는 제 2 임시 메모리와, 그 제 2 임시 메모리에 저장된 데이터를 하나씩 외부의 서버 컴퓨터 시스템으로 전송하기 위한 데이터전송부로 구성된 것을 특징으로 하는 디지털 카메라.
KR10-2001-0020664A 2001-04-18 2001-04-18 디지털 카메라 KR100405775B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2001-0020664A KR100405775B1 (ko) 2001-04-18 2001-04-18 디지털 카메라

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0020664A KR100405775B1 (ko) 2001-04-18 2001-04-18 디지털 카메라

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR2020010033353U Division KR200261454Y1 (ko) 2001-10-31 2001-10-31 디지털 카메라

Publications (2)

Publication Number Publication Date
KR20010069575A true KR20010069575A (ko) 2001-07-25
KR100405775B1 KR100405775B1 (ko) 2003-11-20

Family

ID=19708402

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0020664A KR100405775B1 (ko) 2001-04-18 2001-04-18 디지털 카메라

Country Status (1)

Country Link
KR (1) KR100405775B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100794890B1 (ko) * 2005-02-23 2008-01-14 캐논 가부시끼가이샤 정보 처리 방법, 위변조 검증 방법 및 장치, 저장 매체
KR100854203B1 (ko) * 2006-08-07 2008-08-26 후지쯔 가부시끼가이샤 화상 인증 장치, 화상 인증 방법, 기록 매체 및 전자 기기
KR101381813B1 (ko) * 2011-11-16 2014-04-07 아주대학교산학협력단 이미지를 이용한 모바일 디바이스 간의 인증 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001069454A (ja) * 1999-08-27 2001-03-16 Casio Comput Co Ltd 電子カメラ及び画像データへの情報付加方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100794890B1 (ko) * 2005-02-23 2008-01-14 캐논 가부시끼가이샤 정보 처리 방법, 위변조 검증 방법 및 장치, 저장 매체
US7650511B2 (en) 2005-02-23 2010-01-19 Canon Kabushiki Kaisha Information processing method, falsification verification method and device, storage medium, and program
KR100854203B1 (ko) * 2006-08-07 2008-08-26 후지쯔 가부시끼가이샤 화상 인증 장치, 화상 인증 방법, 기록 매체 및 전자 기기
KR101381813B1 (ko) * 2011-11-16 2014-04-07 아주대학교산학협력단 이미지를 이용한 모바일 디바이스 간의 인증 방법

Also Published As

Publication number Publication date
KR100405775B1 (ko) 2003-11-20

Similar Documents

Publication Publication Date Title
US5751809A (en) Apparatus and method for securing captured data transmitted between two sources
US6269446B1 (en) Authenticating images from digital cameras
US7535488B2 (en) Image data verification system
US5966446A (en) Time-bracketing infrastructure implementation
US6553494B1 (en) Method and apparatus for applying and verifying a biometric-based digital signature to an electronic document
US20050289343A1 (en) Systems and methods for binding a hardware component and a platform
KR100794890B1 (ko) 정보 처리 방법, 위변조 검증 방법 및 장치, 저장 매체
CN103999442B (zh) 用于产生数字图像的装置和方法
KR20040053253A (ko) 네트워크를 거쳐 생체 인식 데이터를 안전하게 전송하고인증하는 방법 및 장치
JPH10164549A (ja) 認証情報を画像に隠し込むシステム及び画像認証システム
CN101359989A (zh) 生成安全数字照片的方法、装置及移动通信终端
US11436597B1 (en) Biometrics-based e-signatures for pre-authorization and acceptance transfer
US20090190189A1 (en) Information processing apparatus, control method therefor, information processing system, and program
US8312284B1 (en) Verifiable timestamping of data objects, and applications thereof
US7840817B2 (en) Data processing apparatus and method
US20080276095A1 (en) Data Processing Apparatus and Its Method
KR20060061219A (ko) 암호처리 프로세서
JP2023519081A (ja) 拡張可能なサーバを用いるデジタル署名システム
KR102169695B1 (ko) 자가검증이 가능한 블록체인 전자투표 관리 방법
KR20210060745A (ko) 블록체인 기반의 전자계약 서비스 시스템
US8250661B2 (en) Image processing apparatus, information processing apparatus, and methods thereof
KR100405775B1 (ko) 디지털 카메라
KR200261454Y1 (ko) 디지털 카메라
JP2023519082A (ja) 信頼できるサーバを用いるデジタル署名システム
KR100909885B1 (ko) 화상 데이터의 원본 확인이 가능한 촬상 장치 및 촬상 방법

Legal Events

Date Code Title Description
A201 Request for examination
G15R Request for early publication
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20071105

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee