KR20110091354A - 치과용 동영상 디지털 엑스선 영상 획득 시스템 - Google Patents

치과용 동영상 디지털 엑스선 영상 획득 시스템 Download PDF

Info

Publication number
KR20110091354A
KR20110091354A KR1020100011145A KR20100011145A KR20110091354A KR 20110091354 A KR20110091354 A KR 20110091354A KR 1020100011145 A KR1020100011145 A KR 1020100011145A KR 20100011145 A KR20100011145 A KR 20100011145A KR 20110091354 A KR20110091354 A KR 20110091354A
Authority
KR
South Korea
Prior art keywords
image
ray
digital
interface
pci
Prior art date
Application number
KR1020100011145A
Other languages
English (en)
Inventor
조준동
홍병주
김용준
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020100011145A priority Critical patent/KR20110091354A/ko
Publication of KR20110091354A publication Critical patent/KR20110091354A/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22Details, e.g. general constructional or apparatus details
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B42/00Obtaining records using waves other than optical waves; Visualisation of such records by using optical means
    • G03B42/02Obtaining records using waves other than optical waves; Visualisation of such records by using optical means using X-rays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Dentistry (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biochemistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은 치과용 동영상 디지털 X-선 영상 획득 시스템에 관한 것으로, CMOS 이미지 센서, ADC, 메모리, 영상처리부, PC 인터페이스, 시스템 제어부를 포함하여 구성되며, 기존 치과용 디지털 X-선 시스템에서 고려되지 않았던 시스템 간 인터페이스 속도저하 문제와 소프트웨어 영상처리로 인한 속도저하 문제를 영상 획득과 처리, 전송을 마이크로컨트롤러를 이용한 소프트웨어 방식 제어가 아닌 디지털 하드웨어로 직접 제어하는 방식을 사용하여 개선 시켜 빠른 영상 획득 및 영상처리 시간 감축으로 인한 동영상 이미지를 제공해 준다. 그리고 영상전송을 위한 범용의 USB와 PCI 인터페이스(Interface)가 아닌 X-Ray 영상 전송 디지털 하드웨어 전용의 USB와 PCI-express 하드웨어 및 소프트웨어 인터페이스를 사용하여 동영상 이미지를 제공해 주며, 영상처리 전용의 하드웨어를 사용하여 처리 속도를 극대화하였다. 또한, 영상 내의 잡음을 제거하고 센서의 각 픽셀의 불균일성을 제거하여 영상의 화질을 개선 시킬 수 있다.

Description

치과용 동영상 디지털 엑스선 영상 획득 시스템{MOVING PICTURE DIGITAL X-RAY IMAGE ACQUISITION SYSTEM FOR DENTISTRY}
본 발명은 치과용 동영상 디지털 X-선 영상 획득 시스템에 관한 것으로, 특히 영상 획득과 처리 및 전송을 마이크로컨트롤러를 이용한 소프트웨어 방식 제어가 아닌 디지털 하드웨어로 직접 제어하는 방식을 사용하여 수행 속도를 극대화함으로써 동영상 이미지를 제공하는 치과용 동영상 디지털 X-선 영상 획득 시스템에 관한 것이다.
그리고, 영상전송을 위한 범용의 USB와 PCI 인터페이스(Interface)가 아닌 X-Ray 영상 전송 디지털 하드웨어 전용의 USB와 PCI-express 하드웨어 및 소프트웨어 인터페이스를 사용하여 처리 속도를 극대화하여 동영상 이미지를 제공하는 치과용 동영상 디지털 X-선 영상 획득 시스템에 관한 것이다.
또한, 영상 내의 잡음을 제거하고 센서의 각 픽셀의 불균일성을 제거하여 영상의 화질을 개선 시킬 수 있는 치과용 동영상 디지털 X-선 영상 획득 시스템에 관한 것이다.
최근 병원에서 환자의 진단에 있어서 없어서는 안 될 중요한 위치를 차지하고 있는 것이 진단용 방사선 분야이다. 진단용 방사선 분야는 최근 몇 년 내에 필름을 이용하는 아날로그 방식에서 여러 반도체 센서를 이용한 디지털 방식으로 급변하는 추세이다. 대한 치과의사협의회에서 발간된 “치과에서의 디지털 X선 영상기기”의 논문을 인용하면, 현재 미국의 전 치과의원 50%이상이 디지털 치과 방사선 영상 시스템을 이용하고 있다고 한다.
현재 국내에서도 다수의 치과의원이 디지털 진단방사선 시스템을 이용하고 있어 디지털 X-선 영상기기는 앞으로는 더욱 시장이 확대될 전망이며 기존의 필름방식은 수년 안에 사라질 전망이다.
치과용 디지털 X-선 시스템은 수입에만 의존하다가 최근 몇 년 사이 국내 다수의 기업의 노력으로 치과용 인트라오랄 디지털 X-선 장비들의 국산화가 성공적으로 이루어졌다. 그러나 외국 제품에 비해 정지영상 획득시간이 느리고 동영상 획득을 할 수 없다는 단점이 있다. 기존 제품들의 정지영상 획득시간이 느린 주요 원인은 다음과 같다(도면 1). 1차 속도 저하 원인은 획득한 영상의 PC로의 전송에 범용의 USB 및 PCI 인터페이스를 사용한다는 것이다. 범용의 USB 및 PCI 인터페이스를 사용시 영상의 전송 속도의 제한을 받게 되기 때문이다.
2차 속도 저하 원인은 영상의 화질을 향상시키기 위한 영상처리를 PC상에서 소프트웨어로 처리한다는 것이다. 이는 영상의 획득시간에 비해 오히려 영상처리를 위한 수행시간이 더욱 커 동영상 영상 획득을 제한하게 된다.
디지털 X-선 동영상 기술은 기존 외과에서는 수술용으로 많이 개발되었다. 그러나 치과용으로는 아직 개발된 사례가 국내뿐만 아니라 국제적으로도 보고된 적이 없다. 치과용 디지털 X-선 동영상 기술은 주로 위험도가 높은 임플란트 시술을 더욱 정확하고 안정적으로 할 수 있게 해준다. 특히 좁은 악골에 드릴링을 하는 중 실시간으로 위치를 파악하여 계획된 정확한 위치로의 시술이 가능하게 하고 시술 시간을 단축시켜 준다. 기존의 정지영상을 제공하는 디지털 센서들은 실시간 확인이 불가능하여 시술 시간이 증가하는 등의 이용하기가 불편한 단점이 있다. 따라서 현재 치과분야에서 급격히 증가하는 임플란트 시술의 안전성과 치료효과의 증대를 위해 치과용 동영상 디지털 X-선 시스템의 개발의 필요성이 절실히 요구되고 있다.
국내등록특허제0929357호에는고속의엑스레이영상장치에의해만들어진프레임스트림(stream)으로부터사전결정된치과용파노라마영상층들,상이한층들의치과용파노라마엑스레이영상들,치과용횡단엑스레이영상들및치과용엑스레이영상들을선택적으로만드는치과용구강외엑스레이영상시스템및방법에대해개시되어있다. 상기등록특허의치과용구강외엑스레이영상시스템은,엑스레이소스;충분한프레임속도로프레임모드를출력할수있는디지털영상장치;엑스레이소스와다른위치에위치된적어도하나의회전축을가지는기계적머니퓰레이터;궤적의복잡도에따라서1D,2D또는3D에있는카메라위치를검출하기위한위치검출기구;저장된프레임으로부터최종영상을재구성하기위한최종영상재구성기구;노출동안포착된모든프레임을저장할수있는RAM,하드드라이브또는드라이브어레이와같은실시간저장시스템;및재구성알고리즘을실행할수있는디지털처리유닛;을포함하고있다. 개시된상기등록특허는고속엑스레이디지털영상장치에의하여만들어진프레임스트림으로부터치과용파노라마엑스레이영상들,치과용횡단엑스레이영상들및치과용단층합성의3D영상들을선택적으로만들수있지만,디지털동영상이미지는제공하지못하고있다.
본 발명에 따른 치과용 동영상 디지털 X-선 영상 획득 시스템은 다음과 같은 해결과제를 목적으로 한다.
첫째, 기존 치과용 디지털 X-선 시스템에서 고려되지 않았던 시스템 간 인터페이스 속도저하 문제와 소프트웨어 영상처리로 인한 속도저하 문제를 개선시켜 빠른 영상 획득(고속 인터페이스 사용 : USB 2.0/PCI-Express) 및 영상처리 시간 감축(영상처리 전용 하드웨어 프로세서)으로 인한 동영상 이미지를 제공해주는 시스템을 구축하고자 한다.
둘째, 영상 획득과 처리, 전송을 마이크로컨트롤러를 이용한 소프트웨어 방식 제어가 아닌 디지털 하드웨어로 직접 제어하는 방식을 사용하여 수행 속도를 극대화하고자 한다.
셋째, X-선 영상의 고속전송을 통해 동영상으로 재생 가능하도록 한다.
넷째, 영상전송을 위한 범용의 USB와 PCI 인터페이스(Interface)가 아닌 X-Ray 영상 전송 디지털 하드웨어 전용의 USB와 PCI-express 하드웨어 및 소프트웨어 인터페이스를 사용하여 동영상 이미지를 제공해주는 시스템을 구축하고자 한다.
다섯째, 영상처리 전용의 하드웨어를 사용하여 처리 속도를 극대화하고자 한다.
여섯째, 영상 내의 잡음을 제거하고 센서의 각 픽셀의 불균일성을 제거하여 영상의 화질을 개선 시키고자 한다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 청구항 1에 기재된 발명은, 「동영상 디지털 X-선 영상 획득 시스템에 있어서, X-선 발생기에서 물체에 X-선을 조사하여 발생된 가시광선을 감지하여 전기신호로 변환하는 CMOS 이미지 센서와; 상기 CMOS 이미지 센서에서 변환된 아날로그 신호를 디지털 신호로 변환하는 아날로그디지털 변환기(ADC)와; 상기 ADC에서 변환된 X-선 영상을 저장하고 저장된 영상을 사용하여 처리된 영상(처리 영상)을 저장하는 메모리와; 상기 ADC에서 변환된 X-선 영상의 화질에 포함된 불필요한 고주파 성분을 디지털 하드웨어를 통해 영상 처리한 후 상기 메모리에 저장하는 영상처리부와; 상기 메모리에 저장된 처리 영상을 PC로 전송하는 PC 인터페이스와; 상기 각 구성의 동작을 제어하며, 상기 X-선 영상의 픽셀을 보상하여 균일한 영상을 제공하는 시스템 제어부; 및 상기 PC 인터페이스를 통해 전송된 디지털 X-선 촬영 영상을 소프트웨어에 의해 모니터를 통해 실시간으로 나타내는 PC;를 포함하는 치과용 동영상 디지털 X-선 영상 획득 시스템.」을 제공한다.
청구항 2에 기재된 발명은, 「제 1 항에 있어서, 상기 시스템 제어부는: 피사체 없이 X-래이(ray)를 조사하여 영상을 획득한 게인(Gain) 이미지와, X-래이(ray)를 조사하지 않은 상태에서 동일한 촬영 조건에서 관전압, 관전류, 영상촬영 시간이 동일한 상태로 피사체 없이 촬영하여 영상을 획득한 오프셋(Offset) 이미지와, 상기 게인(Gain) 이미지에 오프셋(Offset) 이미지를 뺄셈한 디바이저(Divisor) 이미지와, 영상처리를 수행할 입력이미지인 프로잭션(Projection) 이미지에 상기 오프셋(Offset) 이미지를 뺀 값을 상기 디바이저(Divisor) 이미지로 나눈 보정(Correction) 이미지를 획득하여 상기 메모리에 저장하고, 상기 보정 이미지를 이용하여 픽셀을 보상하여 균일한 영상을 획득하는 것을 특징으로 하는 치과용 동영상 디지털 X-선 영상 획득 시스템.」을 제공한다.
청구항 3에 기재된 발명은, 「제 1 항에 있어서, 상기 영상처리부는: 윈도우 안에 있는 각 화소의 휘도 값을 오름차순으로 정렬한 다음, 중앙에 해당하는 화소 값을 출력 영상의 윈도우 중심에 채우는 중간값 필터링 방식을 사용하여 하드웨어 프로세싱을 통해 영상 처리하는 것을 특징으로 하는 치과용 동영상 디지털 X-선 영상 획득 시스템.」을 제공한다.
청구항 4에 기재된 발명은, 「제 1 항에 있어서, 상기 PC 인터페이스는: USB 인터페이스 방식 또는 PCI 익스프레스(Express) 인터페이스 방식을 사용하는 것을 특징으로 하는 치과용 동영상 디지털 X-선 영상 획득 시스템.」을 제공한다.
청구항 5에 기재된 발명은, 「제 4 항에 있어서, 상기 PCI 익스프레스(Express) 인터페이스 방식은: 데이터 링크 레이어(Data Link Layer)를 통해 전달받은 패킷을 직렬화(serialize) 하는 PCI 익스프레스 피지컬 레이어(Express Physical Layer)와; 링크로 연결된 두 디바이스 사이에서 링크의 동작 제어, 흐름 제어, 트랜잭션 레이어(Transaction Layer)에서 전송된 TLP(Transaction Layer Packet)를 전송하는 PCI 익스프레스 데이터 링크 레이어(Express Data Link Layer)와; PCI 버스 명령어를 패킷으로 변환하여 상기 PCI Express Data Link Layer로 내보내는 PCI 익스프레스 트랜잭션 레이어(Express Transaction Layer)와; PCI Express 인터페이스를 이용하여 PC 내의 시스템 메모리에 직접 엑세스하여 데이터를 읽고 쓰는 동작을 수행하는 PCI DMA 컨트롤 블록(Control Block)과; 상기 PCI Express 인터페이스를 이용하여 PCI 타켓(Target) 방식으로 데이터를 읽고 쓰기 동작을 수행하고, 상기 PCI Target 방식을 이용하여 데이터 전송에는 사용하지 않고 PCI 마스터(Master) 전송을 위한 레지스터 설정 및 상태 레지스터 전송에 관련된 일을 수행하는 PCI 타켓 컨트롤 블록(Target Control Block); 및 CameraLink 인터페이스를 이용하여 PCI Express 보드와 영상센서 보드와 사이에서 데이터를 전송하는 TX/RX 피포(FIFO);를 포함하는 것을 특징으로 하는 치과용 동영상 디지털 X-선 영상 획득 시스템.」을 제공한다.
본 발명에 따르면, 기존 치과용 디지털 X-선 시스템에서 고려되지 않았던 시스템 간 인터페이스 속도저하 문제와 소프트웨어 영상처리로 인한 속도저하 문제를 개선시켜 빠른 영상 획득(고속 인터페이스 사용 : USB 2.0/PCI-Express) 및 영상처리 시간 감축(영상처리 전용 하드웨어 프로세서)으로 인한 동영상 이미지를 제공해주는 시스템을 구축할 수 있다.
그리고, 영상 획득과 처리, 전송을 마이크로컨트롤러를 이용한 소프트웨어 방식 제어가 아닌 디지털 하드웨어로 직접 제어하는 방식을 사용하여 수행 속도를 극대화할 수 있다.
또한, X-선 영상의 고속전송을 통해 동영상으로 재생이 가능하다.
게다가, 영상전송을 위한 범용의 USB와 PCI 인터페이스(Interface)가 아닌 X-Ray 영상 전송 디지털 하드웨어 전용의 USB와 PCI-express 하드웨어 및 소프트웨어 인터페이스를 사용하여 동영상 이미지를 제공할 수 있다.
더욱이, 영상처리 전용의 하드웨어를 사용하여 처리 속도를 극대화할 수 있다.
나아가, 영상 내의 잡음을 제거하고 센서의 각 픽셀의 불균일성을 제거하여 영상의 화질을 개선 시킬 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.
도 1은 종래 기술에 따른 치과용 디지털 X-선 영상 획득 시스템의 구성도
도 2는 본 발명의 바람직한 실시 예에 의한 치과용 동영상 디지털 X-선 영상 획득 시스템의 개략도
도 3은 본 발명에 의한 X-선 영상 획득 디지털 하드웨어 시스템의 블록도
도 4는 본 발명에 의한 PCI 인터페이스 시스템의 블록도
이하에서는 도면을 참조하면서 본 발명에 따른 치과용 동영상 디지털 X-선 영상 획득 시스템에 관하여 구체적으로 설명하겠다.
치과용 동영상 디지털 X-선 영상 획득 시스템
도 2는 본 발명의 바람직한 실시 예에 의한 치과용 동영상 디지털 X-선 영상 획득 시스템의 개략도이다.
기존의 정지영상을 제공하는 치과용 디지털 X-선 디텍터 시스템의 디지털 센서들은 실시간 확인이 불가능하여 시술 시간이 증가하는 등의 이용하기가 불편한 단점이 있었다. 본 발명의 치과용 동영상 디지털 X-선 영상 획득 시스템은 하드웨어에 내장된 이미지 프로세서(Hardwired Image Processor: 130)와 하이 스피드(High Speed) PC 인터페이스(Interface)(131)를 이용하여 기존 치과용 디지털 X-선 시스템에서 고려되지 않았던 시스템 간 인터페이스 속도저하 문제와 소프트웨어 영상처리로 인한 속도저하 문제를 개선시켜 빠른 영상 획득(고속 인터페이스 사용 : USB 2.0/PCI-Express) 및 영상처리 시간 감축(영상처리 전용 하드웨어 프로세서)으로 인한 동영상 이미지를 제공한다.
X-선 영상 획득 디지털 하드웨어 시스템
도 3은 본 발명에 의한 X-선 영상 획득 디지털 하드웨어 시스템의 블록도이다.
본 발명의 X-선 영상 획득 디지털 하드웨어 시스템은 도 3에 도시된 바와 같이, CMOS 이미지 센서(Image Sensor)(210), ADC(analog to digital converter: 220), 이미지 센서 제어부(230), ADC 제어부(240), 영상처리부(250), 시스템 제어부(260), 메모리 제어부(270), SDRAM(271), SRAM(272), 인터페이스 제어부(280), PC 인터페이스(290), PC(300)를 포함하여 구성된다.
X-선을 물체에 조사하고 이를 디지털로 영상화하기 위해서 형광판과 CMOS 이미지 센서(210)가 결합 된 형태가 사용이 된다. 상기 CMOS 이미지 센서(210)는 자연광의 광자를 받아 전기신호로 바꾸어준다. 따라서 X-선을 검출하기 위해 X-선이 충돌하여 발광하는 물질인 신틸레이터(Scintillator) 라고 하는 물질을 사용한다. 즉, X-선 발생기에서 발생 된 X-선은 상기 신틸레이터(Scintillator)에 의해 가시광선으로 변환되며 이 가시광선을 상기 CMOS 이미지 센서(210)에 의해 전기신호로 다시 변환된다. 이렇게 생성된 X-선 영상의 전기 신호는 아날로그 신호이며 이 신호는 ADC에 의해 디지털 신호로 변환된다. 디지털 신호로 변환된 X-선 영상은 메모리에 저장되며, 저장된 영상을 사용하여 영상처리를 수행하고 다시 버퍼 메모리에 저장된다. 버퍼 메모리에 저장된 처리영상은 USB 또는 PCI-Express를 이용하여 PC에 전송된다. PC로 전송된 디지털 X-선 촬영 영상은 PC에서 소프트웨어에 의해 PC의 모니터를 통해서 실시간으로 보여진다.
상기 영상처리부(250)에서는 X선 영상의 화질을 향상하는 영상처리를 디지털 하드웨어를 통해 고속의 처리가 이루어진다. 처리되는 영상처리는 중간값 필터링을 통해 노이즈 제거, 센서의 픽셀 특이성을 보상하는 픽셀 교정이다.
디지털 방사선 영상 간접 촬영법은 X-선을 가시광선으로 변환하는 과정에서 왜곡이나 잡음이 발생할 가능성이 매우 높다. 따라서 왜곡 및 잡음을 제거하기 위한 영상처리 알고리즘을 통해 해결해야만 한다. 영상이 가진 불필요한 고주파 성분을 제거한다든지, 영상 획득이나 전송에서 발생하는 잡음을 제거하기 위해 주로 사용하는 영상처리 방법은 평균값 필터링과 중간값 필터링이 있다. 그러나 평균값 필터링의 경우, 잡음을 제거하기 위해 잡음 주변의 픽셀(Pixel)을 평균값을 취하도록 처리하기 때문에 잡음이 없는 부분도 평균화 처리되어 영상이 흐려지는 단점이 있다. 따라서 영상이 원 영상에 가깝게 처리할 수 있는 대안으로 중간값 필터링을 사용한다. 중간값 필터링의 특징은 잡음 제거와 동시에 평균값 필터에 비하여 농도가 급격히 변화하고 있는 에지(Edge) 정보가 보존된다는 것이다. 중간값 필터링을 하기 위해서는 먼저 윈도우 안에 있는 각 화소의 휘도 값을 오름차순으로 정렬한다. 그런 다음, 중앙에 해당하는 화소 값을 출력 영상의 윈도우 중심에 채운다. 결국, 중심값이 선택되어야 하기 때문에 중간값 필터의 윈도우가 가진 화소의 수는 홀수개가 된다. 이런 장점에도 불구하고 중간값 필터링을 수행하는 데는 입력 영상의 여러 픽셀 값을 정렬의 수행해야 한다는 점에서 수행시간 증가를 유발한다. 하지만 소프트웨어가 아닌 하드웨어로 전용의 프로세싱을 수행하면 조금의 지연을 일어날 수 있지만 동영상을 생성하는 데는 전혀 문제가 없다. 본 발명에서는 하드웨어로 프로세싱을 직접 수행하여 이를 가능하도록 하였다.
상기 CMOS 이미지 센서(210)는 재료 특성과 광학적 특성으로 각각의 픽셀에서 이상적인 동일한 성능을 발휘하지 못한다. 그렇기 때문에 이미지 획득 후 전처리 과정에서 픽셀 보정을 위한 영상처리 알고리즘을 사용하여 좀 더 선명한 결과 이미지를 획득해야 한다. 그래서 본 발명에서는 각각의 픽셀에 적용하는 픽셀 보정 아키텍처(Pixel Correction Architecture)를 제안한다.
촬영하려는 영상 조건에 맞는 두 이미지(Gain 이미지, Offset 이미지)를 영상처리 전에 각각 참조 영상으로 사용하기 위해 메모리에 저장한다. 상기 Gain 이미지는 피사체 없이 X-ray를 조사하여 영상을 획득한다. 또한 상기 Offset 이미지는 X-ray를 조사하지 않은 상태에서 동일한 촬영 조건에서 관 전압, 관 전류, 영상촬영 시간(integration time)이 동일한 상태로 피사체 없이 촬영을 하여 영상을 획득한다. 각각의 픽셀(Pixel) 당 연산이 이루어지는 것을 고려하여 상기 Gain 이미지에 상기 Offset 이미지를 뺄셈하여 디바이저(Divisor) 이미지로 저장하여 연산량을 감소시킨다. 영상처리를 수행할 입력 이미지인 프로잭션(Projection) 이미지에 상기 Offset 이미지를 빼고 그 값을 상기 Divisor 이미지로 나누어 보정된 Correction 이미지를 획득한다.
Figure pat00001
Figure pat00002
Figure pat00003
이 픽셀교정을 통해 센서 개개의 픽셀의 특이성을 보상해 주어 보다 균일한 영상을 획득할 수 있다.
본 발명에서는 X-선 영상의 고속전송을 통해 동영상으로 재생 가능하도록 하였다. 따라서 X-선 영상의 PC로의 고속 영상 전송기술이 필요하다. 이를 위해 USB방식과 PCI-Express 방식을 사용한다.
PCI Express의 개발은 근본적으로는 한계에 도달한 PCI를 대체하기 위함이다. 현재 가장 널리 사용되고 있는 PCI는 그 이전의 I/O 인터페이스에 비해 상당히 많은 이점을 가지고 있었다. PCI 이전의 버스보다 넓은 데이터 버스와 빠른 주파수를 이용함으로써 초당 전송 가능한 데이터 양이 많다. 이러한 PCI의 성능은 오늘날까지 효율적인 버스 인터페이스로서의 역할을 해왔다. 이러한 PCI는 멀티드랍(multi-drop), 병렬 버스 방식, 동기식 데이터 전송을 구현한 인터페이스로써, 개발 당시인 십여년전에는 상당히 우수한 버스로 급격히 시장에 자리집게 되었다. 병렬 버스 방식을 사용했기 때문에 높은 데이터 전송률을 달성할 수 있었으며, 멀티드랍 방식으로 다수의 PCI 기기를 동시에 사용한다는 이점을 가졌다.
하지만 지난 10년간 CPU와 메모리의 지속적인 속도 증가, GUI를 지원하는 그래픽 카드, 기가비트 네트워킹 등 계속되는 PC의 발전에도 불구하고 로컬 버스로서 이들을 연결하는 인터페이스는 PCI 로컬 버스방식이 유지되어왔다. 이러한 I/O 인터페이스의 더딘 발전은 시스템 전체에 있어 병목현상을 일으키는 주요 원인으로 부각되고 있다.
이런 병목현상의 주요원인은 병렬 버스 방식이라는 것으로 이 방식은 기본적으로 신호왜곡에 상당히 취약하다는 문제점을 가지고 있다. 이것은 이전의 RDRAM 및 시리얼 ATA, 하이퍼트랜스포트에서 누누히 언급된 내용이기도 하다. 또한, 다수의 기기가 동기화되어 동작해야 하기 때문에 클럭과 전압이라는 측면에서의 자유도가 대단히 떨어진다. 그 결과 PCI는 33MHz, 32bit, 5V 동작이라는 고정된 스펙만을 가지고 있었다. 이러한 한계는 전송속도를 133MB/s로 제한하는 문제점을 만들어냈다. 물론, 133MB/s는 어지간한 기기들에는 충분하다. USB 1.1 컨트롤러나 사운드카드 및 랜카드 등에는 아무런 무리가 없었다. 그러나 주변기기들은 점점 고속화되어가고 PC는 더욱 다양한 주변기기들로 인해 보다 넓은 대역폭과 확장성을 필요로 하게 되었다. PCI의 속도에 비해서 현재 사용되고 있는, 그리고 앞으로 등장할 각종 주변기기 인터페이스들의 속도가 얼마나 빠른 것인가를 직관적으로 보여준다. IEEE1394나 USB 2.0의 경우도 그리 무시할만한 게 되지 못한다. 대개의 경우 하나의 시스템에 2~3개의 포트가 있기 때문이다. ATA 역시 그러하다. 이러한 상황에서 PCI는 그 한계를 드러낼 수밖에 없고 시스템의 병목현상을 만드는 주범으로 전락해버린다.
PCI Express는 위에서 언급했던 PCI의 한계점을 돌파하기 위해서 제안되었다. 이러한 한계점은 돌파하기 위하여 우선 직렬기술을 사용하였다. 기존의 병렬 방식의 경우 여러 개의 신호 선을 병렬로 사용하므로 각 신호 선들 간의 간섭이 발생한다. 그리고 DC로 동작하는 각 선들은 외부의 잡음에 취약하다. 이에 더하여 보드나 케이블에 의해 연결된 신호 선들은 그 길이의 차이로 인해 신호 왜곡이 발생한다. 이러한 신호 왜곡은 동작 주파수를 높이는데 있어서의 제약으로 작용하였다. 직렬연결기술은 이 문제를 간단히 해소한다. 직렬전송방식으로 바꾸면서 버스 폭을 줄이고 동작주파수를 높이는 것은 이미 RDRAM과 시리얼 ATA 등에서 보아온 방식이다. PCI Express는 초기의 직렬연결 방식과는 달리 신호를 구동함에 있어서 차분 신호(Differential Signal)를 사용한다. 차분 신호의 구동은 잡음에 강한 특성을 가진다. 뿐만 아니라 두 개의 신호 선만을 사용하므로 까다로운 라우팅 룰이 단순해지며, 이는 회로의 단순화로 이어져서 신호 외곡에 대한 문제도 쉽게 해결할 수 있다. 이러한 기술은 PLL 기술의 발전, 데이터에 클럭 정보를 함께 전송하는 8b/10b 인코딩 기술, 아날로그 회로 기술의 발전 등으로 가능하게 되었다. 또한 제한된 대역폭의 다양화도 보다 쉽게 이루어진다. PCI Express는 기본적으로는 하이퍼트랜스포트와 상당히 유사한 직렬전송방식이며, 최소 200MB/s에서 최대 6.4GB/s까지의 대역폭을 구현한다. 따라서 다양한 주변기기에 대응할 수 있게 된다. PCI의 구조를 그대로 계승하면서 최대 6.4GB/s의 높은 대역폭을 구현할 수 있기 때문에 결과적으로 상당히 다양화되어 있는 많은 인터페이스 종류를 통합할 수 있게 된다.
PCI   익스프레스 ( Express ) 인터페이스 시스템
PCI 익스프레스(Express)를 위한 인터페이스 시스템의 블록도는 도 4와 같다.
상기 PCI 인터페이스 시스템은 도 4에 도시된 바와 같이, 컨피겨레이션 매니지먼트 레이어(Configuration Management Layer)(301), PCI 익스프레스 피지컬 레이어(Express Physical Layer)(310), PCI 익스프레스 데이터 링크 레이어(Express Data Link Layer)(320), PCI 익스프레스 트랜잭션 레이어(Express Transaction Layer)(330), PCI 익스프레스 인터페이스(Express Interface)(340), PCI DMA 컨트롤 블록(Control Block)(350), TX 피포(FIFO)(360), RX 피포(FIFO)(361), CamraLink 인터페이스(Interface)(370), PCI 타켓 컨트롤 블록(Target Control Block)(380), 레지스터 블록(Register Block)(390), 센서 보드(Sensor Board)(400)를 포함하여 구성되며, 각 블록별 기능과 동작은 다음과 같다.
먼저, 상기 PCI Express Physical Layer(310)는 상기 PCI Express Data Link Layer(320)를 통해 전달받은 패킷을 직렬화(serialize) 한다. 여기서 사용되는 방법은 기존의 DC 신호가 아닌 차분 신호로 신호 선을 구동하여 잡음에 강하게 하며 8b/10b 인코딩 방식을 통해 데이터에 클럭을 포함시키므로 고속화를 가능하게 한다. 그리고 전송되는 패킷의 종류와 각 패킷을 구분 짓기 위해 프레임(Frame)을 붙이며 신호의 고른 분포를 위해서 데이터 혼합(Data Scambling)이 이루어진다.
상기 PCI Express Data Link Layer(320)는 링크로 연결된 두 디바이스 사이에서 링크의 동작제어, 흐름 제어, 그리고 상기 PCI Express Transaction Layer(330)에서 전해진 TLP(Transaction Layer Packet)의 전송이 주목적이다. 먼저, 시스템 전원이 인가된 후 물리 계층에서는 전기적 물리적으로 신호 전송이 가능한 상태가 되도록 일련의 과정을 거치며 그 이후 연결 계층에 링크가 동작 가능상태임을 알린다. 이 후 연결 계층에는 플로우 컨트롤(Flow Control) 초기화 과정을 거친다. 이 과정을 통해 각 디바이스는 자신의 디바이스에 비어있는 버퍼에 대한 정보를 DLLP로 상대 디바이스에게 전달한다. 상대 디바이스 또한 이 정보를 제공하게 되는데, 이러한 초기화 과정을 거치고 나면 각 디바이스의 변환 계층은 자신들의 Flow Control 규칙에 따라 TLP를 전송하게 된다.
상기 PCI Express Transaction Layer(330)는 기존의 PCI 버스 명령어를 패킷으로 변환하여 상기 PCI Express Data Link Layer(320)로 내보내게 된다. 상기 PCI Express Transaction Layer(330)에서 지원되는 명령어는 디바이스의 메모리 영역에 대한 데이터 읽기 쓰기 동작을 수행하는 메모리 트랜잭션(Memory Transaction), 디바이스의 IO영역에 대한 데이터 읽기 쓰기를 수행하는 IO 트랜잭션(Transaction), 디바이스 컨피겨레이션(Configuration) 영역에 대한 읽기 쓰기를 수행하는 컨피겨레이션 트랜잭션(Configuration Transaction), 그리고 데이터 전송과 달리 부가적인 신호 및 정보를 전송하기 위한 메시지 트랜잭션(Message Transaction)으로 구성된다.
상기 PCI DMA Control Block(350)은 상기 PCI Express 인터페이스(340)를 이용하여 PC(300) 내의 시스템 메모리에 직접 엑세스하여 데이터를 읽고 쓰는 동작을 수행하는 블록이다.
상기 PCI Target Control Block(380)은 상기 PCI Express 인터페이스(340)를 이용하여 PCI 타켓(Target) 방식으로 데이터를 읽고 쓰기 동작을 수행하는 블록이다. 이 블록은 상기 PCI Target 방식을 이용하여 데이터 전송에는 사용하지 않고 PCI 마스터(Master) 전송을 위한 레지스터 설정 및 상태 레지스터 전송에 관련된 일을 수행한다.
상기 TX/RX FIFO(360,361)는 PCI Express 보드와 영상센서 보드(400)와 사이에서 데이터를 전송하기 위해서는 CameraLink 인터페이스(370)를 이용한다. 서로 클럭 및 전송률이 틀리기 때문에 데이터 버퍼용 메모리는 반드시 필요하게 된다. 이를 위하여 SDRAM을 이용하여 데이터 전송용 FIFO를 설계하였다.
이와 같이 구성된 본 발명의 치과용 동영상 디지털 X-선 영상 획득 시스템은 영상 획득과 처리, 전송을 마이크로컨트롤러를 이용한 소프트웨어 방식 제어가 아닌 디지털 하드웨어로 직접 제어하는 방식을 사용하여 수행 속도를 극대화하고, 또한 영상 내의 잡음을 제거하고 센서의 각 픽셀의 불균일성을 교정하여 영상의 화질을 개선 시킴으로써, 본 발명의 기술적 과제를 해결할 수가 있다.
본 실시 예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.
본 발명에서는 치과용 동영상 디지털 X-선 영상 획득 시스템에 대해 설명하고 있으나, 이에 한정되지 않고 동영상 디지털 X-선 영상 획득 시스템을 사용하는 모든 의료분야에 동일하게 적용할 수 있다.
110 : X-레이(Ray) 디텍터(Detector)
120 : ADC, AMP 인터페이스 로직(Interface Logic)
130 : 하드와이어(Hard-wired) 이미지 프로세서(Image Processor)
140 : 하이 스피드(High Speed) PC 인터페이스(Interface)
210 : CMOS 이미지 센서(Image Sensor)
220 : ADC(analog to digital converter)
230 : 이미지 센서 제어부 240 : ADC 제어부
250 : 영상처리부 260 : 시스템 제어부
270 : 메모리 제어부 271 : SDRAM
272 : SRAM 280 : 인터페이스 제어부
290 : PC 인터페이스 300 : PC
301 : 컨피겨레이션 매니지먼트 레이어(Configuration Management Layer)
310 : PCI 익스프레스 피지컬 레이어(Express Physical Layer)
320 : PCI 익스프레스 데이터 링크 레이어(Express Data Link Layer)
330 : PCI 익스프레스 트랜잭션 레이어(Express Transaction Layer)
340 : PCI 익스프레스 인터페이스(Express Interface)
350 : PCI DMA 컨트롤 블록(Control Block)
360 : TX 피포(FIFO) 361 : RX 피포(FIFO)
370 : CamraLink 인터페이스(Interface)
380 : PCI 타켓 컨트롤 블록(Target Control Block)
390 : 레지스터 블록(Register Block) 400 : 센서 보드(Sensor Board)

Claims (5)

  1. 동영상 디지털 X-선 영상 획득 시스템에 있어서,
    X-선 발생기에서 물체에 X-선을 조사하여 발생된 가시광선을 감지하여 전기신호로 변환하는 CMOS 이미지 센서와;
    상기 CMOS 이미지 센서에서 변환된 아날로그 신호를 디지털 신호로 변환하는 아날로그디지털 변환기(ADC)와;
    상기 ADC에서 변환된 X-선 영상을 저장하고 저장된 영상을 사용하여 처리된 영상(처리 영상)을 저장하는 메모리와;
    상기 ADC에서 변환된 X-선 영상의 화질에 포함된 불필요한 고주파 성분을 디지털 하드웨어를 통해 영상 처리한 후 상기 메모리에 저장하는 영상처리부와;
    상기 메모리에 저장된 처리 영상을 PC로 전송하는 PC 인터페이스와;
    상기 각 구성의 동작을 제어하며, 상기 X-선 영상의 픽셀을 보상하여 균일한 영상을 제공하는 시스템 제어부; 및
    상기 PC 인터페이스를 통해 전송된 디지털 X-선 촬영 영상을 소프트웨어에 의해 모니터를 통해 실시간으로 나타내는 PC를 포함하는 것을 특징으로 하는
    치과용 동영상 디지털 X-선 영상 획득 시스템.
  2. 제 1 항에 있어서, 상기 시스템 제어부는:
    피사체 없이 X-래이(ray)를 조사하여 영상을 획득한 게인(Gain) 이미지와, X-래이(ray)를 조사하지 않은 상태에서 동일한 촬영 조건에서 관전압, 관전류, 영상촬영 시간이 동일한 상태로 피사체 없이 촬영하여 영상을 획득한 오프셋(Offset) 이미지와, 상기 게인(Gain) 이미지에 오프셋(Offset) 이미지를 뺄셈한 디바이저(Divisor) 이미지와, 영상처리를 수행할 입력이미지인 프로잭션(Projection) 이미지에 상기 오프셋(Offset) 이미지를 뺀 값을 상기 디바이저(Divisor) 이미지로 나눈 보정(Correction) 이미지를 획득하여 상기 메모리에 저장하고, 상기 보정 이미지를 이용하여 픽셀을 보상하여 균일한 영상을 획득하는 것을 특징으로 하는
    치과용 동영상 디지털 X-선 영상 획득 시스템.
  3. 제 1 항에 있어서,
    상기 영상처리부는:
    윈도우 안에 있는 각 화소의 휘도 값을 오름차순으로 정렬한 다음, 중앙에 해당하는 화소 값을 출력 영상의 윈도우 중심에 채우는 중간값 필터링 방식을 사용하여 하드웨어 프로세싱을 통해 영상 처리하는 것을 특징으로 하는
    치과용 동영상 디지털 X-선 영상 획득 시스템.
  4. 제 1 항에 있어서,
    상기 PC 인터페이스는:
    USB 인터페이스 방식 또는 PCI 익스프레스(Express) 인터페이스 방식을 사용하는 것을 특징으로 하는 치과용 동영상 디지털 X-선 영상 획득 시스템.
  5. 제 4 항에 있어서,
    상기 PCI 익스프레스(Express) 인터페이스 방식은:
    데이터 링크 레이어(Data Link Layer)를 통해 전달받은 패킷을 직렬화(serialize) 하는 PCI 익스프레스 피지컬 레이어(Express Physical Layer)와;
    링크로 연결된 두 디바이스 사이에서 링크의 동작 제어, 흐름 제어, 트랜잭션 레이어(Transaction Layer)에서 전송된 TLP(Transaction Layer Packet)를 전송하는 PCI 익스프레스 데이터 링크 레이어(Express Data Link Layer)와;
    PCI 버스 명령어를 패킷으로 변환하여 상기 PCI Express Data Link Layer로 내보내는 PCI 익스프레스 트랜잭션 레이어(Express Transaction Layer)와;
    PCI Express 인터페이스를 이용하여 PC 내의 시스템 메모리에 직접 엑세스하여 데이터를 읽고 쓰는 동작을 수행하는 PCI DMA 컨트롤 블록(Control Block)과;
    상기 PCI Express 인터페이스를 이용하여 PCI 타켓(Target) 방식으로 데이터를 읽고 쓰기 동작을 수행하고, 상기 PCI Target 방식을 이용하여 데이터 전송에는 사용하지 않고 PCI 마스터(Master) 전송을 위한 레지스터 설정 및 상태 레지스터 전송에 관련된 일을 수행하는 PCI 타켓 컨트롤 블록(Target Control Block); 및
    CameraLink 인터페이스를 이용하여 PCI Express 보드와 영상센서 보드와 사이에서 데이터를 전송하는 TX/RX 피포(FIFO)를 포함하는 것을 특징으로 하는
    치과용 동영상 디지털 X-선 영상 획득 시스템.
KR1020100011145A 2010-02-05 2010-02-05 치과용 동영상 디지털 엑스선 영상 획득 시스템 KR20110091354A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100011145A KR20110091354A (ko) 2010-02-05 2010-02-05 치과용 동영상 디지털 엑스선 영상 획득 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100011145A KR20110091354A (ko) 2010-02-05 2010-02-05 치과용 동영상 디지털 엑스선 영상 획득 시스템

Publications (1)

Publication Number Publication Date
KR20110091354A true KR20110091354A (ko) 2011-08-11

Family

ID=44928808

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100011145A KR20110091354A (ko) 2010-02-05 2010-02-05 치과용 동영상 디지털 엑스선 영상 획득 시스템

Country Status (1)

Country Link
KR (1) KR20110091354A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014148828A1 (ko) * 2013-03-20 2014-09-25 삼성전자 주식회사 영상 처리를 위한 투사 및 역투사 방법 및 그 영상 처리 장치
WO2017171258A3 (ko) * 2016-03-28 2018-08-02 주식회사 칼레이도소프트 X선 검출용 디텍터의 신호를 교정하기 위한 방법 및 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014148828A1 (ko) * 2013-03-20 2014-09-25 삼성전자 주식회사 영상 처리를 위한 투사 및 역투사 방법 및 그 영상 처리 장치
US9993218B2 (en) 2013-03-20 2018-06-12 Samsung Electronics Co., Ltd. Method for projection and back-projection for image processing, and image processing apparatus therefor
WO2017171258A3 (ko) * 2016-03-28 2018-08-02 주식회사 칼레이도소프트 X선 검출용 디텍터의 신호를 교정하기 위한 방법 및 시스템

Similar Documents

Publication Publication Date Title
Bueno et al. Development of a new cone-beam computed tomography software for endodontic diagnosis
Gröndahl et al. Radiographic manifestations of periapical inflammatory lesions: how new radiological techniques may improve endodontic diagnosis and treatment planning
US7120282B2 (en) Method and apparatus for correcting digital X-ray images
Jayachandran Digital imaging in dentistry: a review
US20170168812A1 (en) Integration of non-supported dental imaging devices into legacy and proprietary dental imaging software
JP2008253758A (ja) 可搬型フラット・パネル検出器を用いた二重エネルギ放射線撮像法の画像取得及び処理連鎖
WO2011087306A2 (ko) X선 단층 촬영 장치 및 그 방법
JP6614784B2 (ja) 放射線撮影システム、制御方法およびプログラム
Caselle et al. Ultra-fast streaming camera platform for scientific applications
CN104665856B (zh) 医学图像处理方法、医学图像处理装置及医学x线影像设备
WO2017095124A1 (ko) 치아쌍 단면 영상 생성 방법, 장치, 및 이를 기록한 기록매체
CN101209208A (zh) 一种数字x线设备的实时图像处理与显示装置
US20040146192A1 (en) Method and apparatus for providing a standard video interface
KR20110091354A (ko) 치과용 동영상 디지털 엑스선 영상 획득 시스템
Wanderley et al. Dentomaxillofacial CBCT: Clinical challenges for indication-oriented imaging
JP2018038547A (ja) 放射線撮像装置、その制御方法、放射線撮像システム、およびプログラム
Sethi et al. Endodontic practice management with cone-beam computed tomography
Macdonald Digital imaging for dentists
JP2010056964A (ja) 受信装置及びその制御方法、プログラム、記録媒体
JP4503072B2 (ja) 3次元陽電子放出断層撮影におけるオンラインデータ取得装置
Ahmad et al. The effect of sharp contrast-limited adaptive histogram equalization (SCLAHE) on intra-oral dental radiograph images
CN211604708U (zh) 远程医疗系统
CN110742629A (zh) 血管减影图像的显示方法及图形用户界面装置
Liao et al. A Prototype Intraoral Periapical Sensor with High Frame Rates for a 2.5 D Periapical Radiography System
JP6076867B2 (ja) 医用x線画像処理システム、x線撮影装置及びx線検出器

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid