KR20180131211A - 외장 의안의 3차원 영상 생성 장치 및 방법 - Google Patents

외장 의안의 3차원 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR20180131211A
KR20180131211A KR1020170067901A KR20170067901A KR20180131211A KR 20180131211 A KR20180131211 A KR 20180131211A KR 1020170067901 A KR1020170067901 A KR 1020170067901A KR 20170067901 A KR20170067901 A KR 20170067901A KR 20180131211 A KR20180131211 A KR 20180131211A
Authority
KR
South Korea
Prior art keywords
image
region
axis
interest
dimensional
Prior art date
Application number
KR1020170067901A
Other languages
English (en)
Other versions
KR102007316B1 (ko
Inventor
윤진숙
백승운
김소현
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020170067901A priority Critical patent/KR102007316B1/ko
Publication of KR20180131211A publication Critical patent/KR20180131211A/ko
Application granted granted Critical
Publication of KR102007316B1 publication Critical patent/KR102007316B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은 적절한 크기와 모양의 의안을 선택함으로써, 합병증을 줄이고 환자의 안구 상태를 추적 관찰하여 환자 관리에도 효과적으로 활용될 수 있는 안면 스캐너와 의료 영상을 이용한 3차원 영상 생성 장치 및 방법에 관한 것이다.

Description

외장 의안의 3차원 영상 생성 장치 및 방법{Apparatus and method of producing three dimensional image of orbital prosthesis}
본 발명은 적절한 크기와 모양의 외장 의안을 선택함으로써, 합병증을 줄이고 환자의 안구 상태를 추적 관찰하여 환자 관리에도 효과적으로 활용될 수 있는 외장 의안의 3차원 영상 생성 장치 및 방법에 관한 것이다.
외장 의안은 눈 뿐만 아니라 눈 주위 조직의 변형이 너무 심하여 의안을 넣을 수 없을 때, 눈 둘레의 움푹 들어간 부분에 붙이는 것이다. 기존의 기술로 외장 의안을 제작하려면, 환자가 병원을 여러 번 방문할 수도 있고, 수작업으로 외장 의안을 만드는 등의 단점이 있다. 특히, 환자가 피부 알러지가 있는 경우, 기존의 기술로 만든 외장 의안에 대해 알러지 반응을 일으킬 수 있다. 또한, 기존의 기술로 만든 외장 의안을 표준화하기 위한 기준이 없다.
한국 등록 특허 제 10-1673800호 (등록일: 2017.03.03)
본 발명은 상기와 같은 종래 기술을 개선하기 위해 안출된 것으로서, 3차원 스캐너를 이용하여 피검사자의 안면에 관한 제1 모델 영상을 생성하고, 단층 이미지 생성을 이용하여 상기 피검사자의 안면에 관한 제2 모델 영상을 생성하고, 상기 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑을 수행하고, 상기 제1 모델 영상에 상기 텍스쳐 매핑된 3차원 객체 영상을 매칭하여 상기 제1 모델 영상을 보정함으로써, 외장 의안을 표준화하기 위한 기준을 마련하기 위해서 안출되었다.
상술한 목적 달성을 위하여 본 발명의 외장 의안의 3차원 영상 생성 장치 및 방법은 피검사자의 안면의 외형에 대한 제1 모델 영상을 생성하는 단계, 상기 피검사자의 안면에 관한 단층 이미지인 제2 모델 영상을 생성하는 단계, 상기 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑을 수행하는 단계, 상기 제1 모델 영상에 상기 텍스쳐 매핑된 3차원 객체 영상을 매칭하여 상기 제1 모델 영상을 보정하는 단계, 및 상기 보정된 제1 모델 영상에서 치료 대상이 되는 제1 관심 영역과 대응하는 제2 관심 영역에 따른 제2 국부 영상을 그와 대응되는 제1 관심 영역의 제1 국부 영상에 대체하는 단계를 포함한다.
본 발명은 외장 의안 초본 제작의 진행 속도를 향상시킬 뿐 아니라 외장 의안 교체나 수정 시에도 디지털로 능동적인 대처가 가능하다. 이를 참고로 하여 적절한 크기와 모양의 외장 의안을 선택함으로써, 합병증을 줄이고 환자의 안구 상태를 추적 관찰하여 환자 관리에도 효과적으로 활용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 영상 생성 장치의 블록도를 도시한 도면이다.
도 2은 본 발명의 일 실시예에 따른 3차원 스캐너가 생성한 피검사자의 안면에 관한 제1 모델 영상을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 단층 이미지 생성부가 생성한 상기 피검사자의 안면에 관한 제2 모델 영상과 텍스쳐 매핑부가 상기 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑을 수행한 이미지를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 정합부가 보정된 제1 모델 영상에 상기 텍스쳐 매핑된 3차원 객체 영상을 매칭하여 상기 제1 모델 영상을 보정하는 과정을 요약한 과정에 해당하는 이미지를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 제1 관심 영역을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 제2 관심 영역에 따른 제2 국부 영상을 그와 대응되는 제1 관심 영역의 제1 국부 영상에 대체하는 이미지를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 정합부가 제1 모델 영상에 상기 텍스쳐 매핑된 3차원 객체 영상을 매칭하여 상기 제1 모델 영상을 보정하는 과정에 해당하는 이미지를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 제1 관심 영역을 구성하는 지점들의 일 실시예를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 외장 의안의 3차원 영상 생성 방법의 흐름도를 도시한 도면이다.
이하, 본 발명의 일 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
이하에서는 본 발명의 실시예에 따른 3차원 영상 생성 장치(100) 및 방법의 구성을 관련된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 3차원 영상 생성 장치(100)의 블록도를 도시한 도면이다.
상기 3차원 영상 생성 장치(100)는 3차원 스캐너(110), 단층 이미지 생성부(120), 텍스쳐 매핑부(130), 정합부(140), 미러링부(150)를 포함한다.
상기 3차원 영상 생성 장치(100)는 피검사자의 안면의 외형에 대한 제1 모델 영상을 생성하고, 상기 피검사자의 안면에 관한 단층 이미지인 제2 모델 영상을 생성하고, 상기 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑을 수행하고, 상기 제1 모델 영상에 상기 텍스쳐 매핑된 3차원 객체 영상을 매칭하여 상기 제1 모델 영상을 보정하고, 상기 보정된 제1 모델 영상에서 치료 대상이 되는 제1 관심 영역과 대응하는 제2 관심 영역에 따른 제2 국부 영상을 그와 대응되는 제1 관심 영역의 제1 국부 영상에 대체한다.
상기 제1 관심 영역은 치료의 대상이 되는 제1 안구 영역이고, 상기 제1 관심 영역은 콧등, 함몰된 안구 영역의 x축 양측 지점, 상기 함몰된 안구 영역의 y축 양측 지점, 상기 함몰된 안구 영역의 z축 양측 지점 중 적어도 하나를 이용하여 정의될 수 있다. 제1 국부 영상은 3차원 영상 생성 장치(100)에서 만든 3차원 영상에서 제1 관심영역에 해당하는 영상일 수 있다. 상기 제1 안구 영역은 안구가 아닌 안구 주변의 피부를 의미할 수 있다.
상기 제2 관심 영역은 치료의 대상이 아닌 제2 안구 영역이고, 상기 제2 관심 영역은 콧등, 정상적 안구 영역의 x축 양측 지점, 상기 정상적 안구 영역의 y축 양측 지점, 상기 정상적 안구 영역의 z축 양측 지점 중 적어도 하나를 이용하여 정의될 수 있다. 제2 국부 영상은 3차원 영상 생성 장치(100)에서 만든 3차원 영상에서 제2 관심영역에 해당하는 영상일 수 있다. 상기 제2 안구 영역은 안구가 아닌 안구 주변의 피부를 의미할 수 있다.
상기 콧등, 함몰된 안구 영역의 x축 양측 지점, 상기 함몰된 안구 영역의 y축 양측 지점, 상기 함몰된 안구 영역의 z축 양측 지점은 미리 지정된 지정 값 이상의 지점일 수 있다. 상기 미리 지정된 지정 값은 검사자가 임의로 지정한 값일 수 있다. 또한, 상기 정상적 안구 영역의 x축 양측 지점, 상기 정상적 안구 영역의 y축 양측 지점, 상기 정상적 안구 영역의 z축 양측 지점도 미리 지정된 지정 값 이상의 지점일 수 있다.
3차원 스캐너(110)는 피검사자의 안면의 외형에 대한 제1 모델 영상을 생성한다. 상기 3차원 스캐너(110)는 3차원 스캐닝을 이용하는 장치일 수 있다. 상기 3차원 스캐닝은 하드웨어 장비를 이용하여, 물체의 3차원 형태를 측정하는 방법이다. 3차원 스캐닝은 레이저를 발사하여 물체에 맞고 돌아오는 시간으로부터 물체까지의 거리를 측정하거나, 특별히 고안된 패턴 광을 이용하여 물체까지의 거리를 측정하는 방법이다. 패턴 광을 이용하여 거리를 측정할 때는 미리 고안된 여러 가지 무늬의 빛을 물체에 가한 뒤, 빛이 물체에 맺힌 형태로부터 물체까지의 거리를 측정한다.
제1 모델 영상은 3차원 스캐너(110)를 이용하여 피검사자의 안면의 외형을 스캐닝하여 생성된 피검사자의 안면에 관한 3차원 데이터로 표현되는 영상일 수 있다. 상기 3차원 데이터의 표면 정보는 3차원 컴퓨터 그래픽 표현 방식인 메시 정보로 변환되어 사용되는 정보일 수 있다. 상기 메시는 컴퓨터 그래픽에서 물체를 3차원으로 표현하기 위해 사용되는 점, 선, 면으로 이루어진 데이터 묶음을 의미한다.
단층 이미지 생성부(120)는 상기 피검사자의 안면에 관한 단층 이미지인 제2 모델 영상을 생성한다. 상기 제2 모델 영상은 2차원 데이터일 수 있다. 단층 이미지 생성부(120)가 단층 이미지를 생성하는 것은 컴퓨터 단층 촬영(CT)을 이용하여 단층 이미지를 생성하는 것일 수 있다.
컴퓨터 단층 촬영(CT)은 X선을 이용하여 인체의 횡단면상의 영상을 획득하여 진단에 이용하는 검사이다. 컴퓨터 단층 촬영(CT)은 X선 발생장치가 있는 원형의 큰 기계에 들어가서 촬영하며 단순 X선 촬영과 달리 인체를 가로로 자른 횡단면상을 획득한다. 컴퓨터 단층 촬영(CT)은 단순 X선 촬영에 비해 구조물이 겹쳐지는 것이 적어 구조물 및 병변을 조금 더 명확히 볼 수 있는 장점이 있다.
컴퓨터 단층 촬영(CT)은 단면상을 얻는다는 점에서 MRI와 공통점이 있지만, 컴퓨터 단층 촬영(CT)은 X선을 이용하여 영상을 얻고, MRI는 자기장 내에서 고주파를 전사하여 영상을 획득한다는 차이점이 있다. 또한 컴퓨터 단층 촬영(CT)은 MRI에 비하여 검사비가 싸고, 검사 시간이 짧은 장점이 있다. 반면 MRI는 컴퓨터 단층 촬영(CT)에 비하여 연조직의 표현력 및 대조도가 높다는 장점이 있다. 이전에는 MRI가 횡단면상뿐만 아니라 원하는 단면상의 영상을 자유롭게 획득할 수 있다는 것이 컴퓨터 단층 촬영(CT)에 비하여 장점으로 꼽아졌으나, 최근 들어 다중채널 컴퓨터 단층 촬영(CT)이 보급되면서 촬영 후 영상을 재구성하여 MRI처럼 원하는 단면상 및 입체적인 삼차원 영상도 자유로이 얻을 수 있게 되었다. 상기 3차원 스캐너(110)에서 형성된 제1 모델 영상 또는 상기 단층 이미지 생성부(120)에서 생성된 제2 모델 영상을 이용하여 데이터베이스 또는 라이브러리로 만들 수도 있다.
상기 제2 모델 영상은 컴퓨터 단층 촬영(CT)을 이용하여 생성된 피검사자의 안면에 관한 2차원 데이터인 단층 이미지로 표현되는 영상일 수 있다. 상기 단층 이미지 생성부(120)에서 X선 또는 초음파를 여러 다른 각도에서 투사하여 그 투영 프로필을 컴퓨터로 해석하고 인체 등의 단면상을 재생하는 기술인 컴퓨터 단층 촬영(CT)을 이용하여 피검사자의 안면에 관한 단층 이미지를 생성하고, 상기 단층 이미지를 처리하는 소프트웨어를 이용하여 상기 단층 이미지를 분할해서 만들어진 것일 수 있다. 상기 단층 이미지는 DICOM 파일일 수 있다. 상기 DICOM은 의료용 디지털 영상 및 통신 표준을 의미하고, 상기 의료용 디지털 영상 및 통신 표준은 의료용 기기에서 디지털 영상 표현과 통신에 사용되는 여러 가지 표준을 총칭하는 말이다.
상기 단층 이미지를 처리하는 소프트웨어가 상기 단층 이미지를 분할하는 것은 화상 처리의 한 분야로, 원 화상을 분석하고, 화상이 갖는 성질이나 특징을 추출, 기술하는 것을 목적으로 한 것일 수 있다. 상기 단층 이미지를 처리하는 소프트웨어가 상기 단층 이미지를 분할하는 것은 segmentation 과정일 수 있다. 상기 단층 이미지 생성부(120)가 생성한 제2 모델 영상을 이용하면, 제1 모델 영상에서는 알 수 없는 정보를 알 수 있을 수 있다.
예를 들어서, 상기 단층 이미지 생성부(120)는 피검사자에게 X선 또는 초음파를 여러 다른 각도에서 투사하여 그 투영 프로필을 컴퓨터로 해석하고 인체의 단면상을 재생하는 것이기 때문에, 상기 3차원 스캐너로는 확인할 수 없는 정보를 확인해서, 외장 의안의 3차원 영상을 생성하는 과정에 있어서 도움이 될 수 있다.
상기 피검사자의 안면의 외형에 대한 제1 모델 영상을 생성하는 3차원 스캐너(110)는 피검사자의 안면의 외형에 대한 3차원 정보를 생성할 수 있고, 상기 피검사자의 안면에 관한 단층 이미지인 제2 모델 영상을 생성하는 단층 이미지 생성부(120)는 피검사자의 안면에 관한 단층 이미지를 생성한다. 상기 피검사자의 안면에 대한 단층 이미지를 이용하여, 상기 피검사자의 피부와 골격 부분을 파악할 수 있기 때문에, 피검사자의 외장 의안을 생성하는데 있어서 도움이 될 수 있다.
상기 텍스쳐 매핑부(130)는 상기 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑을 수행하는 장치일 수 있다. 상기 텍스쳐 매핑부(130)는 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑하는 소프트웨어를 이용하는 것일 수 있다.
상기 3차원 객체 영상은 검사자가 임의로 지정한 가상의 3차원 객체 영상일 수 있다. 예를 들어, 지구에 관한 평면인 지도 영상을 지구에 관한 입체인 지도 영상으로 변환하려고 할 때, 상기 지구에 관한 입체인 지도 영상을 입힐 임의의 객체 영상은 3차원 객체 영상일 수 있다.
상기 텍스쳐 매핑은 컴퓨터 그래픽스 분야에서 가상의 3차원 객체 영상의 표면에 세부적인 질감의 묘사를 하거나 색을 칠하는 기법이다. 일반적으로는 수식이나 2차원의 그림을 3차원 객체 영상의 표면에 여러 가지 방법을 통하여 적용하고 이에 따라 컴퓨터 그래픽 화면을 만들어 나갈 때 마치 실제의 물체처럼 느껴지게끔 그 세부 묘사를 하는 것이다. 이는 사실적인 3차원 장면을 구성하는 데 필요한 다각형 및 조명 계산의 수를 대폭 줄이게 해준다.
상기 제2 모델 영상을 기초로 3차원 객체 영상에 텍스쳐 매핑하는 것은 제2 모델 영상을 기초로 컴퓨터에 의해서 시상 단면을 재구성하는 것일 수 있다. 상기 제2 모델 영상을 기초로 복원하는 것은 reconstruction 과정일 수 있다. 상기 제2 모델 영상은 복수의 제2 모델 영상일 수 있다.
정합부(140)는 상기 제1 모델 영상에 상기 텍스쳐 매핑된 3차원 객체 영상을 매칭하여 상기 제1 모델 영상을 보정한다.
컴퓨터 비전에서 하나의 장면이나 대상을 다른 시간이나 관점에서 촬영할 경우, 영상은 서로 다른 좌표계에서 생성된다. 따라서, 정합부(140)는 서로 다른 좌표계에서 생성된 상기 제1 모델 영상의 좌표계와 3차원 객체 영상의 좌표계를 제1 모델 영상의 좌표계에 상기 제1 모델 영상과 3차원 객체 영상을 도시하는 장치일 수 있다.
영상을 정합하는 방법은 세기 바탕 방법과 특징 바탕 방법으로 분류될 수 있다. 고정된 영상을 참조영상 혹은 원본영상이라고 하고, 맞추어질 영상을 맞출 영상이라고 했을 때, 영상 정합은 맞출 영상을 공간적으로 변형해 참조영상에 맞추는 과정을 포함할 수 있다. 상기 고정된 영상은 상기 제1 모델 영상일 수 있고, 맞추어질 영상은 상기 제 3차원 객체 영상일 수 있다.
세기 바탕 방식은 영상의 세기의 형태를 비교하는 방식이고, 특징 바탕 방식은 영상 속의 점, 선, 테두리 등을 찾아 서로 맞추는 방식이다. 세기 바탕 방식은 그림을 통째로 비교해 정합하는 데 반해, 특징 바탕 방식은 둘 이상의 그림 속에서 여러 개의 특징을 찾아 비교한다. 두 영상 속에서 몇 개의 특징 점의 대응관계를 알면 두 영상의 변환 관계를 결정할 수 있기 때문에, 그로부터 영상 속의 다른 점들의 대응관계를 계산할 수 있다.
영상을 정합하는 방법은 한 가지 방식으로 촬영한 영상들을 맞추는 단일 방식 정합 방법과, 여러 방식으로 촬영한 영상을 서로 맞추는 여러 방식 정합 방법으로 분류될 수도 있다. 단일 방식 정합 방법은 한 가지 스캐너, 혹은 측정 장치에서 얻어진 영상만을 정합하는 것이고, 여러 방식 정합 방법은 서로 다른 스캐너, 혹은 측정 장치에서 얻어진 영상들을 정합하는 것이다. 정합부(140)는 단층 이미지 생성부(120)에서 생성된 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑한 3차원 객체 영상을 3차원 스캐너에서 생성된 제1 모델 영상에 정합하기 때문에, 본 발명에서의 영상 정합 방법은 여러 방식 정합 방법일 수 있다. 본 발명은 세기 바탕 방법, 특징 바탕 방법, 단일 방식 정합 방법, 여러 방식 정합 방법 중 적어도 하나의 방법을 이용할 수 있다.
영상을 정합하는 방법에서 사용되는 기법은 영상 차감 기법, 주축 기법, 조인트 엔트로피 기법, 상호 정보량 기법, 상호 상관관계 기법 중 적어도 하나를 포함한다. 영상 차감 기법은 두 영상 간의 명암도 차이가 최소가 되는 위치로 수렴하는 기법으로 가장 직관적인 유사성 측정 방법으로 단일 방식 정합 방법에 적합한 기법이다. 주축 기법은 영상 내에 정합하고자 하는 물체의 무게 중심을 계산하여 해당 무게 중심으로부터 각 축의 장축을 구해 그 차이만큼 회전과 이동을 통해 대략적인 위치로 변환하는 기법으로 초기 정합 시 시도되는 기법이다.
조인트 엔트로피 기법은 두 영상이 중첩되는 위치의 밝기 값을 이용하여 조인트 히스토그램을 생성하고 이를 가지고 두 확률변수간의 관계를 확률밀도 계산을 통해 엔트로피가 최소가 되는 위치를 계산하는 기법이다. 그러나 상기 조인트 엔트로피 기법은 두 영상 간 중첩되는 영역이 단일 밝기 값으로 구성되면 오 정합을 일으킬 수 있으므로 초기 위치로부터 변화가 적은 영상에 적합한 기법이다. 상호 정보량 기법은 조인트 엔트로피 측정 기법의 단점을 극복하기 위해 주변 엔트로피를 고려한 것으로 최대가 되는 위치로 정합하는 기법이다. 그러나 상기 상호 정보량 기법은 계산 시간이 오래 걸리는 단점이 있다.
상호 상관관계 기법은 관심이 있는 특징 점이나 영역을 추출 또는 분할하여 상관관계가 최대가 되는 위치로 수렴하는 방법으로 특징 점 추출 결과에 따라 정확도가 달리 된다. 상기 정합부(140)는 영상 차감 기법, 주축 기법, 조인트 엔트로피 기법, 상호 정보량 기법, 상호 상관관계 기법 중 적어도 하나를 이용하여 상기 제1 모델 영상에 상기 텍스쳐 매핑된 3차원 객체 영상을 매칭하여 상기 제1 모델 영상을 보정하는 장치일 수 있다.
영상을 정합하는 방법인 세기 바탕 방법, 특징 바탕 방법, 단일 방식 정합 방법, 여러 방식 정합 방법은 상기 영상 차감 기법, 주축 기법, 조인트 엔트로피 기법, 상호 정보량 기법, 상호 상관관계 기법 중 적어도 하나를 이용해서 영상 정합을 할 수 있다.
영상 정합은 의료 영상에서 여러 가지 스캐너를 이용해 얻은 영상을 서로 맞추기 위해 주로 이용된다. 예를 들어 영상 정합은 자기공명영상(MRI)과 컴퓨터 단층촬영(CT) 영상 사이의 정합, 혹은 양전자 방출 단층촬영(PET)과 컴퓨터 단층촬영(CT) 영상 사이의 정합 (종양 부위 판단), 혹은 초음파 영상과 컴퓨터 단층촬영(CT) 영상의 정합 (방사선 치료를 위한 전립선 위치 탐색) 중 적어도 하나를 위해 이용할 수 있다.
제1 모델 영상은 3차원 스캐너(110)를 이용하여 피검사자의 안면을 스캐닝하여 생성된 피검사자의 안면에 관한 3차원 데이터로 표현되는 영상일 수 있다. 상기 3차원 데이터의 표면 정보는 3차원 컴퓨터 그래픽 표현 방식인 메시 정보로 변환되어 사용되는 정보일 수 있다. 상기 메시는 컴퓨터 그래픽에서 물체를 3차원으로 표현하기 위해 사용되는 점, 선, 면으로 이루어진 데이터 묶음을 의미한다.
제2 모델 영상은 컴퓨터 단층 촬영(CT)을 이용하여 생성된 피검사자의 안면에 관한 2차원 데이터인 단층 이미지로 표현되는 영상일 수 있다. 상기 단층 이미지 생성부(120)에서 X선 또는 초음파를 여러 다른 각도에서 투사하여 그 투영 프로필을 컴퓨터로 해석하고 인체 등의 단면상을 재생하는 기술인 컴퓨터 단층 촬영(CT)을 이용하여 피검사자의 안면에 관한 단층 이미지를 생성하고, 상기 단층 이미지를 처리하는 소프트웨어를 이용하여 상기 단층 이미지를 분할해서 만들어진 것일 수 있다. 상기 단층 이미지는 DICOM 파일일 수 있다. 상기 DICOM은 의료용 디지털 영상 및 통신 표준을 의미하고, 상기 의료용 디지털 영상 및 통신 표준은 의료용 기기에서 디지털 영상 표현과 통신에 사용되는 여러 가지 표준을 총칭하는 말이다.
상기 텍스쳐 매핑은 컴퓨터 그래픽스 분야에서 가상의 3차원 객체 영상의 표면에 세부적인 질감의 묘사를 하거나 색을 칠하는 기법이다. 일반적으로는 수식이나 2차원의 그림을 3차원 객체 영상의 표면에 여러 가지 방법을 통하여 적용하고 이에 따라 컴퓨터 그래픽 화면을 만들어 나갈 때 마치 실제의 물체처럼 느껴지게끔 그 세부 묘사를 하는 것이다. 이는 사실적인 3차원 장면을 구성하는 데 필요한 다각형 및 조명 계산의 수를 대폭 줄이게 해준다.
상기 텍스쳐 매핑은 컴퓨터 그래픽스 분야에서 가상의 3차원 객체 영상의 표면에 세부적인 질감의 묘사를 하거나 색을 칠하는 기법이다. 일반적으로는 수식이나 2차원의 그림을 3차원 객체 영상의 표면에 여러 가지 방법을 통하여 적용하고 이에 따라 컴퓨터 그래픽 화면을 만들어 나갈 때 마치 실제의 물체처럼 느껴지게끔 그 세부 묘사를 하는 것이다. 이는 사실적인 3차원 장면을 구성하는 데 필요한 다각형 및 조명 계산의 수를 대폭 줄이게 해준다.
미러링부(150)는 상기 보정된 제1 모델 영상에서 치료 대상이 되는 제1 관심 영역과 대응하는 제2 관심 영역에 따른 제2 국부 영상을 그와 대응되는 제1 관심 영역의 제1 국부 영상에 대체한다.
상기 제1 관심 영역은 치료의 대상이 되는 제1 안구 영역이고, 상기 제1 관심 영역은 콧등, 함몰된 안구 영역의 x축 양측 지점, 상기 함몰된 안구 영역의 y축 양측 지점, 상기 함몰된 안구 영역의 z축 양측 지점 중 적어도 하나를 이용하여 정의될 수 있다. 상기 제1 관심 영역은 콧등, 함몰된 안구 영역의 x축 양측 지점, 상기 함몰된 안구 영역의 y축 양측 지점, 상기 함몰된 안구 영역의 z축 양측 지점을 포함하는 영역일 수 있다. 상기 제1 관심 영역을 획득하는 것은 외부의 장치를 이용하여 상기 제1 관심 영역을 획득하는 것일 수 있다. 제1 국부 영상은 3차원 영상 생성 장치(100)에서 만든 3차원 영상의 어느 한 부분인 제1 관심영역에 해당하는 영상일 수 있다. 상기 제1 안구 영역은 안구 주변의 피부에 해당하는 영역을 의미할 수 있다.
상기 제1 관심 영역은 상기 최상위 점(810), 최하위 점(820), 최좌위 점(830), 최우위 점(840), 중심점(850), 중심점에서 가장 먼 점(860), 이마와 코 사이의 가장 안쪽 점(870) 중 적어도 하나를 포함하여 정의되는 것일 수 있다. 예를 들어, 상기 제1 관심 영역은 콧등, 함몰된 안구 영역의 x축 양측 지점, 상기 함몰된 안구 영역의 y축 양측 지점, 상기 함몰된 안구 영역의 z축 양측 지점 외에도 최상위 점(810), 최하위 점(820), 최좌위 점(830), 최우위 점(840), 중심점(850), 중심점에서 가장 먼 점(860), 이마와 코 사이의 가장 안쪽 점(870)을 이용해서 정의될 수 있는 영역일 수도 있다.
상기 제2 관심 영역은 치료의 대상이 아닌 제2 안구 영역이고, 상기 제2 관심 영역은 콧등, 정상적 안구 영역의 x축 양측 지점, 상기 정상적 안구 영역의 y축 양측 지점, 상기 정상적 안구 영역의 z축 양측 지점 중 적어도 하나를 이용하여 정의될 수 있다. 상기 제2 관심 영역은 콧등, 정상적 안구 영역의 x축 양측 지점, 상기 정상적 안구 영역의 y축 양측 지점, 상기 정상적 안구 영역의 z축 양측 지점을 포함하는 영역일 수 있다. 예를 들어 상기 제1 관심 영역과 제2 관심 영역은 콧등과 같이 피검사자의 얼굴에서 가장 높거나 가장 바깥쪽에 있는 부분일 수 있다. 상기 제2 관심 영역을 획득하는 것은 외부의 장치를 이용하여 상기 제2 관심 영역을 획득하는 것일 수 있다. 제2 국부 영상은 3차원 영상 생성 장치(100)에서 만든 3차원 영상의 어느 한 부분인 제2 관심영역에 해당하는 영상일 수 있다. 상기 제2 안구 영역은 안구 주변의 피부에 해당하는 영역을 의미할 수 있다.
상기 제2 관심 영역은 상기 최상위 점(810), 최하위 점(820), 최좌위 점(830), 최우위 점(840), 중심점(850), 중심점에서 가장 먼 점(860), 이마와 코 사이의 가장 안쪽 점(870) 중 적어도 하나를 포함하여 정의되는 것일 수 있다. 예를 들어, 상기 제2 관심 영역은 콧등, 정상적 안구 영역의 x축 양측 지점, 상기 정상적 안구 영역의 y축 양측 지점, 상기 정상적 안구 영역의 z축 양측 지점 외에도 최상위 점(810), 최하위 점(820), 최좌위 점(830), 최우위 점(840), 중심점(850), 중심점에서 가장 먼 점(860), 이마와 코 사이의 가장 안쪽 점(870)을 이용해서 정의될 수 있는 영역일 수도 있다.
동일한 피검사자의 안면에 관한 제1 관심 영역일지라도, 상기 제1 관심 영역을 추출하는 외부의 장치에 따라서 상기 추출된 제1 관심 영역이 다를 수 있다. 상기 콧등, 함몰된 안구 영역의 x축 양측 지점, 상기 함몰된 안구 영역의 y축 양측 지점, 상기 함몰된 안구 영역의 z축 양측 지점은 미리 지정된 지정 값 이상의 지점일 수 있다. 상기 미리 지정된 지정 값은 검사자가 임의로 지정한 값일 수 있다. 또한, 상기 정상적 안구 영역의 x축 양측 지점, 상기 정상적 안구 영역의 y축 양측 지점, 상기 정상적 안구 영역의 z축 양측 지점도 미리 지정된 지정 값 이상의 지점일 수 있다. 상기 미리 지정된 지정 값은 검사자가 임의로 지정한 값일 수 있다.
상기 콧등은 가장 높은 지점을 의미할 수 있다. 상기 제1 관심 영역의 x축 양측 지점은 상기 제1 관심 영역의 x축 양측 지점의 실제 값 보다 조금 여유 있게 길이를 잡을 수 있다. 예를 들어 상기 안구 함몰 영역의 x축 양측 지점은 상기 안구 함몰 영역의 x축 양측 지점의 실제 값 보다 수십mm 길 수 있다.
상기 제1 관심 영역의 y축 양측 지점은 상기 제1 관심 영역의 y축 양측 지점의 실제 값 보다 조금 여유 있게 길이를 잡을 수 있다. 예를 들어 상기 제1 관심 영역의 y축 양측 지점은 상기 제1 관심 영역의 y축 양측 지점의 실제 값 보다 수십mm 길 수 있다.
상기 제1 관심 영역의 z축 양측 지점은 상기 제1 관심 영역의 z축 양측 지점의 실제 값 보다 약간 짧게 길이를 잡을 수 있다. 예를 들어 상기 제1 관심 영역의 z축 양측 지점은 상기 제1 관심 영역의 z축 양측 지점의 실제 값 보다 수십mm 짧을 수 있다.
상기 제2 관심 영역은 제1 관심 영역과 콧등을 기준으로 대칭일 수 있다. 상기 제1 관심 영역은 많은 3차원 데이터로 이루어진 영역일 수 있다.
상기 미러링부(150)는 이마와 코 사이의 가장 안쪽 점(870)과 이마와 코 사이의 가장 볼록한 점의 위치를 추출하고, 상기 추출된 위치의 수직 좌표를 감지하고, 상기 감지된 수직 좌표를 기준으로 제2 국부 영상을 제1 국부 영상에 대체하는 장치일 수 있다.
사람의 얼굴은 콧등을 기준으로 미세하게라도 좌우가 대칭이 아닌 경우가 많은데, 미러링부(150)가 이러한 사람의 얼굴을 콧등을 기준으로 상기 제2 관심 영역을 상기 제1 관심 영역에 대체하면, 최적화되기 쉽지 않을 수 있으므로, 검사자의 별도의 장치나 방법을 통해서 상기 미러링부(150)가 3차원 객체 영상의 제2 안구 영역으로부터 상기 3차원 객체 영상의 제1 관심 영역을 대체하는 것일 수 있다. 상기 별도의 장치는 최적화부일 수 있다.
만약 피검사자의 안면에 제2 관심 영역이 없으면, 상기 피검사자와 안면이 유사하고, 제2 관심 영역이 있는 사람의 안면에 관한 3차원 영상을 생성한 후에, 상기 3차원 영상의 제2 관심 영역을 상기 피검사자의 제1 관심 영역에 대체 받을 수 있다.
그 과정을 상세히 설명하면, 3차원 스캐너(110)가 제2 관심 영역이 있는 사람의 안면에 관한 3차원 데이터인 제1 모델 영상을 생성하고, 단층 이미지 생성부(120)가 상기 제2 관심 영역이 있는 사람 안면에 관한 단층 이미지인 제2 모델 영상을 생성하고, 텍스쳐 매핑부(130)가 상기 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑을 수행하고, 정합부(140)가 상기 제1 모델 영상에 상기 텍스쳐 매핑된 3차원 객체 영상을 매칭하여 상기 제1 모델 영상을 보정하고, 미러링부(150)가 상기 보정된 상기 제1 모델 영상의 제2 관심 영역에 따른 제2 국부 영상을 그와 대응되는 피검사자의 제1 관심 영역의 제1 국부 영상에 대체한다. 상기 피검사자와 안면이 유사하더라도, 오차가 있을 것이므로, 최적화부를 이용해서, 상기 대체된 제1 모델 영상을 최적화할 수 있다.
외장 의안의 3차원 영상 생성 장치는 추가적으로 최적화부를 이용할 수 있다. 최적화부는 상기 대체된 제1 모델 영상을 최적화한다. 상기 최적화부는 상기 대체된 제1 모델 영상을 설계 또는 조작에서 연속적으로 각 부서의 엔지니어링 또는 프로세스를 합리적으로 결정하여 가장 적절한 계수를 정하여 전체의 효율, 성능, 경제성 등을 최적화하는 것을 의미할 수 있다. 본 발명에서 외장 의안의 3차원 영상을 최적화하는 것은, 제1 모델 영상을 설계 또는 조작에서 연속적으로 각 부서의 엔지니어링 또는 프로세스를 합리적으로 결정하여 가장 적절한 계수를 정하여 전체의 효율, 성능, 경제성 등을 최적화하는 것을 의미할 수 있다.
상기 외장 의안 3차원 영상의 효율 또는 성능이 좋다는 것은, 제1 모델 영상의 오차가 기준 값 이상으로 보정되었고, 상기 제1 모델 영상의 제2 관심 영역으로부터 상기 제1 모델 영상의 제1 관심 영역이 오차가 매우 적게 대체된 경우를 의미할 수 있다.
상기 외장 의안 3차원 영상의 경제성이 좋다는 것은, 제1 모델 영상의 설계에 사용되는 재료의 비용, 3차원 스캐너(110)가 피검사자의 안면의 외형에 관한 제1 모델 영상을 생성하는 비용, 단층 이미지 생성부(120)가 상기 피검사자의 안면에 관한 제2 모델 영상을 생성하는 비용, 텍스쳐 매핑부(130)가 상기 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑하는 비용, 정합부(140)가 상기 제1 모델 영상에 상기 텍스쳐 매핑된 3차원 객체 영상을 매칭하여 상기 제1 모델 영상을 보정하는 비용 및 미러링부(150)가 상기 3차원 객체 영상의 제2 관심 영역으로부터 상기 3차원 객체 영상의 제1 관심 영역을 대체하는 비용을 합산한 비용과 상기 외장 의안 3차원 영상을 피검사자 또는 상기 외장 의안 3차원 영상의 구매자에게 상기 외장 의안 3차원 영상을 파는 비용을 비교하여 수익이 생성되는 정도를 의미할 수 있다.
또한, 최적화부는 상기 대체된 제1 모델 영상을 외형적으로 최적화하는 하는 장치일 수 있다. 따라서, 상기 최적화부는 상기 대체된 제1 모델 영상을 외형적으로 최적화하기 위해서 별도의 소프트웨어를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 3차원 스캐너(110)가 생성한 피검사자의 안면에 관한 제1 모델 영상을 도시한 도면(200)이다.
상기 3차원 스캐너(110)가 피검사자의 안면에 관한 제1 모델 영상을 도시한 도면(200)은 상기 3차원 스캐너(110)를 이용하여 피검사자의 안면에 관한 제1 모델 영상을 정면에서 바라본 이미지(210), 상기 3차원 스캐너(110)를 이용하여 피검사자의 안면에 관한 제1 모델 영상을 측면에서 바라본 이미지(220)를 도시한다.
상기 3차원 스캐너(110)를 이용하여 피검사자의 안면에 관한 제1 모델 영상을 정면에서 바라본 이미지(210)는 3차원 데이터로 표현되어 있는 것을 확인할 수 있다. 상기 3차원 스캐너(110)를 이용하여 피검사자의 안면에 관한 제1 모델 영상을 정면에서 바라본 이미지(210)는 3차원 스캐너(110)를 이용하여 피검사자의 안면에 관한 제1 모델 영상을 측정한 많은 점들을 3차원 공간에 점 데이터로 도시한 이미지일 수 있다.
상기 3차원 스캐너(110)를 이용하여 피검사자의 안면에 관한 제1 모델 영상을 확대한 데이터를 측면에서 바라본 이미지(220)는 3차원 데이터로 표현되어 있는 것을 확인할 수 있다.
3차원 스캐너(110)는 피검사자의 안면의 외형에 대한 제1 모델 영상을 생성한다. 상기 3차원 스캐너(110)는 3차원 스캐닝을 이용하는 장치일 수 있다. 상기 3차원 스캐닝은 하드웨어 장비를 이용하여, 물체의 3차원 형태를 측정하는 방법이다. 3차원 스캐닝은 레이저를 발사하여 물체에 맞고 돌아오는 시간으로부터 물체까지의 거리를 측정하거나, 특별히 고안된 패턴 광을 이용하여 물체까지의 거리를 측정하는 방법이다. 패턴 광을 이용하여 거리를 측정할 때는 미리 고안된 여러 가지 무늬의 빛을 물체에 가한 뒤, 빛이 물체에 맺힌 형태로부터 물체까지의 거리를 측정한다.
제1 모델 영상은 3차원 스캐너(110)를 이용하여 피검사자의 안면을 스캐닝하여 획득한 피검사자의 안면에 관한 3차원 데이터로 표현되는 영상일 수 있다. 상기 3차원 데이터의 표면 정보는 3차원 컴퓨터 그래픽 표현 방식인 메시 정보로 변환되어 사용되는 정보일 수 있다.
도 3은 본 발명의 일 실시예에 따른 단층 이미지 생성부(120)가 생성한 상기 피검사자의 안면에 관한 제2 모델 영상과 텍스쳐 매핑부(130)가 상기 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑을 수행한 이미지를 도시한 도면이다.
단층 이미지 생성부(120)는 상기 피검사자의 안면에 관한 제2 모델 영상을 생성한다. 단층 이미지 생성부(120)가 단층 이미지를 생성하는 것은 컴퓨터 단층 촬영(CT)을 이용하여 단층 이미지를 생성하는 것일 수 있다.
단층 이미지 생성부(120)가 상기 피검사자의 안면에 관한 제2 모델 영상을 도시한 도면은 위에서 촬영한 분할된 단층 이미지(310), 보다 더 위에서 촬영한 분할된 단층 이미지(320), 측면에서 촬영한 분할된 단층 이미지(330)를 도시한다.
텍스쳐 매핑부(130)가 상기 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑을 수행한 이미지를 도시한 도면은 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑한 상기 3차원 객체 영상을 정면에서 촬영한 이미지(340), 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑한 상기 3차원 객체 영상을 좌 측면에서 촬영한 이미지(350)를 도시한다.
위에서 촬영한 분할된 단층 이미지(310), 보다 더 위에서 촬영한 분할된 단층 이미지(320), 측면에서 촬영한 분할된 단층 이미지(330)는 단층 이미지를 처리하는 소프트웨어를 이용하여 상기 단층 이미지를 분할한 것일 수 있다.
상기 위에서 촬영한 분할된 단층 이미지(310)는 상기 피검사자의 안면에 관한 제2 모델 영상을 생성하는 단층 이미지 생성부(120)가 촬영한 이미지일 수 있다. 상기 단층 이미지 생성부(120)는 단층 이미지를 생성하는 것은 컴퓨터 단층 촬영(CT)을 이용하여 단층 이미지를 생성하는 것일 수 있다. 상기 가로 축과 세로 축이 만나는 지점(312)은 코의 가장 앞 부분을 의미하는 것일 수 있다. 상기 가로 축과 세로 축이 만나는 지점(312)을 파악함으로써, 3차원 영상 생성 장치는 보다 더 정확한 외장 의안의 3차원 영상을 생성하는 것일 수 있다.
컴퓨터 단층 촬영(CT)은 X선을 이용하여 인체의 횡단면상의 영상을 획득하여 진단에 이용하는 검사이다. 컴퓨터 단층 촬영(CT)은 X선 발생장치가 있는 원형의 큰 기계에 들어가서 촬영하며 단순 X선 촬영과 달리 인체를 가로로 자른 횡단면상을 획득한다. 컴퓨터 단층 촬영(CT)은 단순 X선 촬영에 비해 구조물이 겹쳐지는 것이 적어 구조물 및 병변을 조금 더 명확히 볼 수 있는 장점이 있다.
컴퓨터 단층 촬영(CT)은 단면상을 얻는다는 점에서 MRI와 공통점이 있지만, 컴퓨터 단층 촬영(CT)은 X선을 이용하여 영상을 얻고, MRI는 자기장 내에서 고주파를 전사하여 영상을 획득한다는 차이점이 있다. 또한 컴퓨터 단층 촬영(CT)은 MRI에 비하여 검사비가 싸고, 검사 시간이 짧은 장점이 있다. 반면 MRI는 컴퓨터 단층 촬영(CT)에 비하여 연조직의 표현력 및 대조도가 높다는 장점이 있다. 이전에는 MRI가 횡단면상뿐만 아니라 원하는 단면상의 영상을 자유롭게 획득할 수 있다는 것이 컴퓨터 단층 촬영(CT)에 비하여 장점으로 꼽아졌으나, 최근 들어 다중채널 컴퓨터 단층 촬영(CT)이 보급되면서 촬영 후 영상을 재구성하여 MRI처럼 원하는 단면상 및 입체적인 삼차원 영상도 자유로이 얻을 수 있게 되었다. 상기 3차원 스캐너(110)에서 형성된 제1 모델 영상 또는 상기 단층 이미지 생성부(120)에서 생성된 제2 모델 영상을 이용하여 데이터베이스 또는 라이브러리로 만들 수도 있다.
상기 보다 더 위에서 촬영한 분할된 단층 이미지(320)는 상기 피검사자의 안면에 관한 제2 모델 영상을 생성하는 단층 이미지 생성부(120)가 촬영한 이미지일 수 있다. 상기 단층 이미지 생성부(120)는 단층 이미지를 생성하는 것은 컴퓨터 단층 촬영(CT)을 이용하여 단층 이미지를 생성하는 것일 수 있다. 상기 가로 축과 세로 축이 만나는 지점(322)은 제1 관심 영역의 가장 안쪽을 의미하는 것일 수 있다. 상기 가로 축과 세로 축이 만나는 지점(322)을 파악함으로써, 3차원 영상 생성 장치는 보다 더 정확한 외장 의안의 3차원 영상을 생성하는 것일 수 있다.
컴퓨터 단층 촬영(CT)은 X선을 이용하여 인체의 횡단면상의 영상을 획득하여 진단에 이용하는 검사이다. 컴퓨터 단층 촬영(CT)은 X선 발생장치가 있는 원형의 큰 기계에 들어가서 촬영하며 단순 X선 촬영과 달리 인체를 가로로 자른 횡단면상을 획득한다. 컴퓨터 단층 촬영(CT)은 단순 X선 촬영에 비해 구조물이 겹쳐지는 것이 적어 구조물 및 병변을 조금 더 명확히 볼 수 있는 장점이 있다.
컴퓨터 단층 촬영(CT)은 단면상을 얻는다는 점에서 MRI와 공통점이 있지만, 컴퓨터 단층 촬영(CT)은 X선을 이용하여 영상을 얻고, MRI는 자기장 내에서 고주파를 전사하여 영상을 획득한다는 차이점이 있다. 또한 컴퓨터 단층 촬영(CT)은 MRI에 비하여 검사비가 싸고, 검사 시간이 짧은 장점이 있다. 반면 MRI는 컴퓨터 단층 촬영(CT)에 비하여 연조직의 표현력 및 대조도가 높다는 장점이 있다. 이전에는 MRI가 횡단면상뿐만 아니라 원하는 단면상의 영상을 자유롭게 획득할 수 있다는 것이 컴퓨터 단층 촬영(CT)에 비하여 장점으로 꼽아졌으나, 최근 들어 다중채널 컴퓨터 단층 촬영(CT)이 보급되면서 촬영 후 영상을 재구성하여 MRI처럼 원하는 단면상 및 입체적인 삼차원 영상도 자유로이 얻을 수 있게 되었다. 상기 3차원 스캐너(110)에서 형성된 제1 모델 영상 또는 상기 단층 이미지 생성부(120)에서 생성된 제2 모델 영상을 이용하여 데이터베이스 또는 라이브러리로 만들 수도 있다.
상기 측면에서 촬영한 분할된 단층 이미지(330)는 상기 피검사자의 안면에 관한 제2 모델 영상을 생성하는 단층 이미지 생성부(120)가 촬영한 이미지일 수 있다. 상기 단층 이미지 생성부(120)는 단층 이미지를 생성하는 것은 컴퓨터 단층 촬영(CT)을 이용하여 단층 이미지를 생성하는 것일 수 있다. 상기 가로 축과 세로 축이 만나는 지점(332)은 제1 관심 영역의 가장 안쪽을 의미하는 것일 수 있다. 상기 가로 축과 세로 축이 만나는 지점(332)을 파악함으로써, 3차원 영상 생성 장치는 보다 더 정확한 외장 의안의 3차원 영상을 생성하는 것일 수 있다.
컴퓨터 단층 촬영(CT)은 X선을 이용하여 인체의 횡단면상의 영상을 획득하여 진단에 이용하는 검사이다. 컴퓨터 단층 촬영(CT)은 X선 발생장치가 있는 원형의 큰 기계에 들어가서 촬영하며 단순 X선 촬영과 달리 인체를 가로로 자른 횡단면상을 획득한다. 컴퓨터 단층 촬영(CT)은 단순 X선 촬영에 비해 구조물이 겹쳐지는 것이 적어 구조물 및 병변을 조금 더 명확히 볼 수 있는 장점이 있다.
컴퓨터 단층 촬영(CT)은 단면상을 얻는다는 점에서 MRI와 공통점이 있지만, 컴퓨터 단층 촬영(CT)은 X선을 이용하여 영상을 얻고, MRI는 자기장 내에서 고주파를 전사하여 영상을 획득한다는 차이점이 있다. 또한 컴퓨터 단층 촬영(CT)은 MRI에 비하여 검사비가 싸고, 검사 시간이 짧은 장점이 있다. 반면 MRI는 컴퓨터 단층 촬영(CT)에 비하여 연조직의 표현력 및 대조도가 높다는 장점이 있다. 이전에는 MRI가 횡단면상뿐만 아니라 원하는 단면상의 영상을 자유롭게 획득할 수 있다는 것이 컴퓨터 단층 촬영(CT)에 비하여 장점으로 꼽아졌으나, 최근 들어 다중채널 컴퓨터 단층 촬영(CT)이 보급되면서 촬영 후 영상을 재구성하여 MRI처럼 원하는 단면상 및 입체적인 삼차원 영상도 자유로이 얻을 수 있게 되었다. 상기 3차원 스캐너(110)에서 형성된 제1 모델 영상 또는 상기 단층 이미지 생성부(120)에서 생성된 제2 모델 영상을 이용하여 데이터베이스 또는 라이브러리로 만들 수도 있다.
텍스쳐 매핑부(130)는 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑하는 장치일 수 있다. 상기 3차원 객체 영상을 이용하여, 상기 3차원 객체 영상을 정면에서 촬영한 이미지(340), 상기 3차원 객체 영상을 좌 측면에서 촬영한 이미지(350)를 생성할 수 있다.
상기 3차원 객체 영상을 정면에서 촬영한 이미지(340)는 상기 텍스쳐 매핑부(130)가 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑해서 생성된 상기 3차원 객체 영상을 이용해서 생성된 이미지일 수 있다.
상기 텍스쳐 매핑부(130)는 상기 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑을 수행하는 장치일 수 있다. 상기 텍스쳐 매핑부(130)는 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑하는 소프트웨어를 이용하는 것일 수 있다. 상기 3차원 객체 영상은 검사자가 임의로 지정한 가상의 3차원 객체 영상일 수 있다. 예를 들어, 지구에 관한 평면인 지도 영상을 지구에 관한 입체인 지도 영상으로 바꾸려고 할 때, 상기 지구에 관한 입체인 지도 영상을 입힐 객체 영상은 3차원 객체 영상일 수 있다. 상기 검사자는 의사일 수 있다.
상기 텍스쳐 매핑은 컴퓨터 그래픽스 분야에서 가상의 3차원 객체 영상의 표면에 세부적인 질감의 묘사를 하거나 색을 칠하는 기법이다. 일반적으로는 수식이나 2차원의 그림을 3차원 객체 영상의 표면에 여러 가지 방법을 통하여 적용하고 이에 따라 컴퓨터 그래픽 화면을 만들어 나갈 때 마치 실제의 물체처럼 느껴지게끔 그 세부 묘사를 하는 것이다. 이는 사실적인 3차원 장면을 구성하는 데 필요한 다각형 및 조명 계산의 수를 대폭 줄이게 해준다.
상기 제2 모델 영상을 기초로 3차원 객체 영상에 텍스쳐 매핑하는 것은 제2 모델 영상을 기초로 컴퓨터에 의해서 시상 단면을 재구성하는 것일 수 있다. 상기 제2 모델 영상을 기초로 복원하는 것은 reconstruction 과정일 수 있다. 상기 제2 모델 영상은 복수의 제2 모델 영상일 수 있다.
상기 3차원 객체 영상을 좌 측면에서 촬영한 이미지(350)는 상기 텍스쳐 매핑부(130)가 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑해서 생성된 3차원 객체 영상을 이용해서 생성된 이미지일 수 있다.
상기 텍스쳐 매핑부(130)는 상기 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑을 수행하는 장치일 수 있다. 상기 텍스쳐 매핑부(130)는 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑하는 소프트웨어를 이용하는 것일 수 있다. 상기 3차원 객체 영상은 검사자가 임의로 지정한 가상의 3차원 객체 영상일 수 있다. 상기 검사자는 의사일 수 있다.
상기 텍스쳐 매핑은 컴퓨터 그래픽스 분야에서 가상의 3차원 객체 영상의 표면에 세부적인 질감의 묘사를 하거나 색을 칠하는 기법이다. 일반적으로는 수식이나 2차원의 그림을 3차원 객체 영상의 표면에 여러 가지 방법을 통하여 적용하고 이에 따라 컴퓨터 그래픽 화면을 만들어 나갈 때 마치 실제의 물체처럼 느껴지게끔 그 세부 묘사를 하는 것이다. 이는 사실적인 3차원 장면을 구성하는 데 필요한 다각형 및 조명 계산의 수를 대폭 줄이게 해준다.
상기 제2 모델 영상을 기초로 3차원 객체 영상에 텍스쳐 매핑하는 것은 제2 모델 영상을 기초로 컴퓨터에 의해서 시상 단면을 재구성하는 것일 수 있다. 상기 제2 모델 영상을 기초로 복원하는 것은 reconstruction 과정일 수 있다. 상기 제2 모델 영상은 복수의 제2 모델 영상일 수 있다.
컴퓨터 단층 촬영(CT)은 X선을 이용하여 인체의 횡단면상의 영상을 획득하여 진단에 이용하는 검사이다. 컴퓨터 단층 촬영(CT)은 X선 발생장치가 있는 원형의 큰 기계에 들어가서 촬영하며 단순 X선 촬영과 달리 인체를 가로로 자른 횡단면상을 획득한다. 컴퓨터 단층 촬영(CT)은 단순 X선 촬영에 비해 구조물이 겹쳐지는 것이 적어 구조물 및 병변을 조금 더 명확히 볼 수 있는 장점이 있다.
컴퓨터 단층 촬영(CT)은 단면상을 얻는다는 점에서 MRI와 공통점이 있지만, 컴퓨터 단층 촬영(CT)은 X선을 이용하여 영상을 얻고, MRI는 자기장 내에서 고주파를 전사하여 영상을 획득한다는 차이점이 있다. 또한 컴퓨터 단층 촬영(CT)은 MRI에 비하여 검사비가 싸고, 검사 시간이 짧은 장점이 있다. 반면 MRI는 컴퓨터 단층 촬영(CT)에 비하여 연조직의 표현력 및 대조도가 높다는 장점이 있다. 이전에는 MRI가 횡단면상뿐만 아니라 원하는 단면상의 영상을 자유롭게 획득할 수 있다는 것이 컴퓨터 단층 촬영(CT)에 비하여 장점으로 꼽아졌으나, 최근 들어 다중채널 컴퓨터 단층 촬영(CT)이 보급되면서 촬영 후 영상을 재구성하여 MRI처럼 원하는 단면상 및 입체적인 3차원 영상도 자유로이 얻을 수 있게 되었다.
도 4는 본 발명의 일 실시예에 따른 정합부(140)가 보정된 제1 모델 영상에 상기 텍스쳐 매핑된 3차원 객체 영상을 매칭하여 상기 제1 모델 영상을 보정하는 과정을 요약한 과정에 해당하는 이미지를 도시한 도면(400)이다.
상기 정합부(140)가 보정된 제1 모델 영상에 상기 텍스쳐 매핑된 3차원 객체 영상을 매칭하여 상기 제1 모델 영상을 보정하는 과정을 요약한 과정에 해당하는 이미지를 도시한 도면은 위에서 내려다 본 분할된 단층 이미지(410), 상기 오차가 보정된 제1 모델 영상(420)을 도시한다.
정합부(140)는 상기 제1 모델 영상에 상기 텍스쳐 매핑된 3차원 객체 영상을 매칭하여 상기 제1 모델 영상을 보정한다.
컴퓨터 비전에서 하나의 장면이나 대상을 다른 시간이나 관점에서 촬영할 경우, 영상은 서로 다른 좌표계에서 생성된다. 따라서, 정합부(140)는 서로 다른 좌표계에서 생성된 상기 제1 모델 영상의 좌표계와 3차원 객체 영상의 좌표계를 제1 모델 영상의 좌표계에 상기 제1 모델 영상과 3차원 객체 영상을 도시하는 장치일 수 있다.
영상을 정합하는 방법은 세기 바탕 방법과 특징 바탕 방법으로 분류될 수 있다. 고정된 영상을 참조영상 혹은 원본영상이라고 하고, 맞추어질 영상을 맞출 영상이라고 했을 때, 영상 정합은 맞출 영상을 공간적으로 변형해 참조영상에 맞추는 과정을 포함할 수 있다. 상기 고정된 영상은 상기 제1 모델 영상일 수 있고, 맞추어질 영상은 상기 제 3차원 객체 영상일 수 있다.
세기 바탕 방식은 영상의 세기의 형태를 비교하는 방식이고, 특징 바탕 방식은 영상 속의 점, 선, 테두리 등을 찾아 서로 맞추는 방식이다. 세기 바탕 방식은 그림을 통째로 비교해 정합하는 데 반해, 특징 바탕 방식은 둘 이상의 그림 속에서 여러 개의 특징을 찾아 비교한다. 두 영상 속에서 몇 개의 특징 점의 대응관계를 알면 두 영상의 변환 관계를 결정할 수 있기 때문에, 그로부터 영상 속의 다른 점들의 대응관계를 계산할 수 있다.
영상을 정합하는 방법은 한 가지 방식으로 촬영한 영상들을 맞추는 단일 방식 정합 방법과, 여러 방식으로 촬영한 영상을 서로 맞추는 여러 방식 정합 방법으로 분류될 수도 있다. 단일 방식 정합 방법은 한 가지 스캐너, 혹은 측정 장치에서 얻어진 영상만을 정합하는 것이고, 여러 방식 정합 방법은 서로 다른 스캐너, 혹은 측정 장치에서 얻어진 영상들을 정합하는 것이다. 정합부(140)는 단층 이미지 생성부(120)에서 생성된 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑한 3차원 객체 영상을 3차원 스캐너에서 생성된 제1 모델 영상에 정합하기 때문에, 본 발명에서의 영상 정합 방법은 여러 방식 정합 방법일 수 있다. 본 발명은 세기 바탕 방법, 특징 바탕 방법, 단일 방식 정합 방법, 여러 방식 정합 방법 중 적어도 하나의 방법을 이용할 수 있다.
영상을 정합하는 방법에서 사용되는 기법은 영상 차감 기법, 주축 기법, 조인트 엔트로피 기법, 상호 정보량 기법, 상호 상관관계 기법 중 적어도 하나를 포함한다. 영상 차감 기법은 두 영상 간의 명암도 차이가 최소가 되는 위치로 수렴하는 기법으로 가장 직관적인 유사성 측정 방법으로 단일 방식 정합 방법에 적합한 기법이다. 주축 기법은 영상 내에 정합하고자 하는 물체의 무게 중심을 계산하여 해당 무게 중심으로부터 각 축의 장축을 구해 그 차이만큼 회전과 이동을 통해 대략적인 위치로 변환하는 기법으로 초기 정합 시 시도되는 기법이다.
조인트 엔트로피 기법은 두 영상이 중첩되는 위치의 밝기 값을 이용하여 조인트 히스토그램을 생성하고 이를 가지고 두 확률변수간의 관계를 확률밀도 계산을 통해 엔트로피가 최소가 되는 위치를 계산하는 기법이다. 그러나 상기 조인트 엔트로피 기법은 두 영상 간 중첩되는 영역이 단일 밝기 값으로 구성되면 오 정합을 일으킬 수 있으므로 초기 위치로부터 변화가 적은 영상에 적합한 기법이다. 상호 정보량 기법은 조인트 엔트로피 측정 기법의 단점을 극복하기 위해 주변 엔트로피를 고려한 것으로 최대가 되는 위치로 정합하는 기법이다. 그러나 상기 상호 정보량 기법은 계산 시간이 오래 걸리는 단점이 있다.
상호 상관관계 기법은 관심이 있는 특징 점이나 영역을 추출 또는 분할하여 상관관계가 최대가 되는 위치로 수렴하는 방법으로 특징 점 추출 결과에 따라 정확도가 달리 된다. 상기 정합부(140)는 영상 차감 기법, 주축 기법, 조인트 엔트로피 기법, 상호 정보량 기법, 상호 상관관계 기법 중 적어도 하나를 이용하여 상기 제1 모델 영상에 상기 텍스쳐 매핑된 3차원 객체 영상을 매칭하여 상기 제1 모델 영상을 보정하는 장치일 수 있다.
영상을 정합하는 방법인 세기 바탕 방법, 특징 바탕 방법, 단일 방식 정합 방법, 여러 방식 정합 방법은 상기 영상 차감 기법, 주축 기법, 조인트 엔트로피 기법, 상호 정보량 기법, 상호 상관관계 기법 중 적어도 하나를 이용해서 영상 정합을 할 수 있다.
영상 정합은 의료 영상에서 여러 가지 스캐너를 이용해 얻은 영상을 서로 맞추기 위해 주로 이용된다. 예를 들어 영상 정합은 자기공명영상(MRI)과 컴퓨터 단층촬영(CT) 영상 사이의 정합, 혹은 양전자 방출 단층촬영(PET)과 컴퓨터 단층촬영(CT) 영상 사이의 정합 (종양 부위 판단), 혹은 초음파 영상과 컴퓨터 단층촬영(CT) 영상의 정합 (방사선 치료를 위한 전립선 위치 탐색) 중 적어도 하나를 위해 이용할 수 있다.
제1 모델 영상은 3차원 스캐너(110)를 이용하여 피검사자의 안면을 스캐닝하여 생성된 피검사자의 안면에 관한 3차원 데이터로 표현되는 영상일 수 있다. 상기 3차원 데이터의 표면 정보는 3차원 컴퓨터 그래픽 표현 방식인 메시 정보로 변환되어 사용되는 정보일 수 있다. 상기 메시는 컴퓨터 그래픽에서 물체를 3차원으로 표현하기 위해 사용되는 점, 선, 면으로 이루어진 데이터 묶음을 의미한다.
제2 모델 영상은 컴퓨터 단층 촬영(CT)을 이용하여 생성된 피검사자의 안면에 관한 2차원 데이터인 단층 이미지로 표현되는 영상일 수 있다. 상기 단층 이미지 생성부(120)에서 X선 또는 초음파를 여러 다른 각도에서 투사하여 그 투영 프로필을 컴퓨터로 해석하고 인체 등의 단면상을 재생하는 기술인 컴퓨터 단층 촬영(CT)을 이용하여 피검사자의 안면에 관한 단층 이미지를 생성하고, 상기 단층 이미지를 처리하는 소프트웨어를 이용하여 상기 단층 이미지를 분할해서 만들어진 것일 수 있다. 상기 단층 이미지는 DICOM 파일일 수 있다. 상기 DICOM은 의료용 디지털 영상 및 통신 표준을 의미하고, 상기 의료용 디지털 영상 및 통신 표준은 의료용 기기에서 디지털 영상 표현과 통신에 사용되는 여러 가지 표준을 총칭하는 말이다.
상기 텍스쳐 매핑은 컴퓨터 그래픽스 분야에서 가상의 3차원 객체 영상의 표면에 세부적인 질감의 묘사를 하거나 색을 칠하는 기법이다. 일반적으로는 수식이나 2차원의 그림을 3차원 객체 영상의 표면에 여러 가지 방법을 통하여 적용하고 이에 따라 컴퓨터 그래픽 화면을 만들어 나갈 때 마치 실제의 물체처럼 느껴지게끔 그 세부 묘사를 하는 것이다. 이는 사실적인 3차원 장면을 구성하는 데 필요한 다각형 및 조명 계산의 수를 대폭 줄이게 해준다.
상기 텍스쳐 매핑은 컴퓨터 그래픽스 분야에서 가상의 3차원 객체 영상의 표면에 세부적인 질감의 묘사를 하거나 색을 칠하는 기법이다. 일반적으로는 수식이나 2차원의 그림을 3차원 객체 영상의 표면에 여러 가지 방법을 통하여 적용하고 이에 따라 컴퓨터 그래픽 화면을 만들어 나갈 때 마치 실제의 물체처럼 느껴지게끔 그 세부 묘사를 하는 것이다. 이는 사실적인 3차원 장면을 구성하는 데 필요한 다각형 및 조명 계산의 수를 대폭 줄이게 해준다.
도 5는 본 발명의 일 실시예에 따른 제1 관심 영역을 도시한 도면(500)이다.
상기 제1 관심 영역은 치료의 대상이 되는 제1 안구 영역이고, 상기 제1 관심 영역은 콧등, 함몰된 안구 영역의 x축 양측 지점, 상기 함몰된 안구 영역의 y축 양측 지점, 상기 함몰된 안구 영역의 z축 양측 지점 중 적어도 하나를 이용하여 정의될 수 있다. 상기 제1 관심 영역을 획득하는 것은 외부의 장치를 이용하여 상기 제1 관심 영역을 획득하는 것일 수 있다. 제1 국부 영상은 3차원 영상 생성 장치(100)에서 만든 3차원 영상의 어느 한 부분인 제1 관심영역에 해당하는 영상일 수 있다. 상기 제1 안구 영역은 안구 주변의 피부에 해당하는 영역을 의미할 수 있다.
상기 콧등은 가장 높은 지점을 의미할 수 있다. 상기 안구 함몰 영역의 x축 양측 지점은 상기 안구 함몰 영역의 x축 양측 지점의 실제 값 보다 조금 여유 있게 길이를 잡을 수 있다. 예를 들어 상기 안구 함몰 영역의 x축 양측 지점은 상기 안구 함몰 영역의 x축 양측 지점의 실제 값보다 수십mm 길 수 있다.
상기 안구 함몰 영역의 y축 양측 지점은 상기 안구 함몰 영역의 y축 양측 지점의 실제 값 보다 조금 여유 있게 길이를 잡을 수 있다. 예를 들어 상기 안구 함몰 영역의 y축 양측 지점은 상기 안구 함몰 영역의 y축 양측 지점의 실제 값 보다 수십mm 길 수 있다.
상기 안구 함몰 영역의 z축 양측 지점은 상기 안구 함몰 영역의 z축 양측 지점의 실제 값 보다 약간 짧게 길이를 잡을 수 있다. 예를 들어 상기 안구 함몰 영역의 z축 양측 지점은 상기 안구 함몰 영역의 z축 양측 지점의 실제 값 보다 수십mm 짧을 수 있다.
도 6은 본 발명의 일 실시예에 따른 제2 관심 영역에 따른 제2 국부 영상을 그와 대응되는 제1 관심 영역의 제1 국부 영상에 대체하는 이미지를 도시한 도면(600)이다.
미러링부(150)는 상기 보정된 제1 모델 영상에서 치료 대상이 되는 제1 관심 영역과 대응하는 제2 관심 영역에 따른 제2 국부 영상을 그와 대응되는 제1 관심 영역의 제1 국부 영상에 대체한다.
상기 제1 관심 영역은 치료의 대상이 되는 제1 안구 영역이고, 상기 제1 관심 영역은 콧등, 함몰된 안구 영역의 x축 양측 지점, 상기 함몰된 안구 영역의 y축 양측 지점, 상기 함몰된 안구 영역의 z축 양측 지점 중 적어도 하나를 이용하여 정의될 수 있다. 상기 제1 관심 영역을 획득하는 것은 외부의 장치를 이용하여 상기 제1 관심 영역을 획득하는 것일 수 있다. 제1 국부 영상은 3차원 영상 생성 장치(100)에서 만든 3차원 영상의 어느 한 부분인 제1 관심영역에 해당하는 영상일 수 있다. 상기 제1 안구 영역은 안구 주변의 피부에 해당하는 영역을 의미할 수 있다.
상기 제2 관심 영역은 치료의 대상이 아닌 제2 안구 영역이고, 상기 제2 관심 영역은 콧등, 정상적 안구 영역의 x축 양측 지점, 상기 정상적 안구 영역의 y축 양측 지점, 상기 정상적 안구 영역의 z축 양측 지점 중 적어도 하나를 이용하여 정의될 수 있다.
예를 들어 상기 콧등, 함몰된 안구 영역의 x축 양측 지점, 상기 함몰된 안구 영역의 y축 양측 지점, 상기 함몰된 안구 영역의 z축 양측 지점은 미리 지정된 지정 값 이상의 지점일 수 있다. 상기 미리 지정된 지정 값은 검사자가 임의로 지정한 값일 수 있다. 또한, 상기 정상적 안구 영역의 x축 양측 지점, 상기 정상적 안구 영역의 y축 양측 지점, 상기 정상적 안구 영역의 z축 양측 지점도 미리 지정된 지정 값 이상의 지점일 수 있다.
상기 제2 관심 영역을 획득하는 것은 외부의 장치를 이용하여 상기 제2 관심 영역을 획득하는 것일 수 있다. 제2 국부 영상은 3차원 영상 생성 장치(100)에서 만든 3차원 영상의 어느 한 부분인 제2 관심영역에 해당하는 영상일 수 있다. 상기 제2 안구 영역은 안구 주변의 피부에 해당하는 영역을 의미할 수 있다.
동일한 피검사자의 안면에 관한 제1 관심 영역일지라도, 상기 제1 관심 영역을 추출하는 외부의 장치에 따라서 상기 추출된 제1 관심 영역이 다를 수 있다.
상기 콧등은 가장 높은 지점을 의미할 수 있다. 상기 제1 관심 영역의 x축 양측 지점은 상기 제1 관심 영역의 x축 양측 지점의 실제 값 보다 조금 여유 있게 길이를 잡을 수 있다. 예를 들어 상기 안구 함몰 영역의 x축 양측 지점은 상기 안구 함몰 영역의 x축 양측 지점의 실제 값보다 수십mm 길 수 있다.
상기 제1 관심 영역의 y축 양측 지점은 상기 제1 관심 영역의 y축 양측 지점의 실제 값 보다 조금 여유 있게 길이를 잡을 수 있다. 예를 들어 상기 제1 관심 영역의 y축 양측 지점은 상기 제1 관심 영역의 y축 양측 지점의 실제 값 보다 수십mm 길 수 있다.
상기 제1 관심 영역의 z축 양측 지점은 상기 제1 관심 영역의 z축 양측 지점의 실제 값 보다 약간 짧게 길이를 잡을 수 있다. 예를 들어 상기 제1 관심 영역의 z축 양측 지점은 상기 제1 관심 영역의 z축 양측 지점의 실제 값 보다 수십mm 짧을 수 있다.
상기 제2 관심 영역은 제1 관심 영역과 콧등을 기준으로 대칭일 수 있다. 상기 제1 관심 영역은 많은 3차원 데이터로 이루어진 영역일 수 있다.
사람의 얼굴은 콧등을 기준으로 미세하게라도 좌우가 대칭이 아닌 경우가 많은데, 미러링부(150)가 이러한 사람의 얼굴을 콧등을 기준으로 상기 제2 관심 영역을 상기 제1 관심 영역에 대체하면, 최적화되기 쉽지 않을 수 있으므로, 검사자의 별도의 장치나 방법을 통해서 상기 미러링부(150)가 3차원 객체 영상의 제2 안구 영역으로부터 상기 3차원 객체 영상의 제1 관심 영역을 대체하는 것일 수 있다. 상기 별도의 장치는 최적화부일 수 있다.
만약 피검사자의 안면에 제2 관심 영역이 없으면, 상기 피검사자와 안면이 유사하고, 제2 관심 영역이 있는 사람의 안면에 관한 3차원 영상을 생성한 후에, 상기 3차원 영상의 제2 관심 영역을 상기 피검사자의 제1 관심 영역에 대체 받을 수 있다.
그 과정을 상세히 설명하면, 3차원 스캐너(110)가 제2 관심 영역이 있는 사람의 안면에 관한 3차원 데이터인 제1 모델 영상을 생성하고, 단층 이미지 생성부(120)가 상기 제2 관심 영역이 있는 사람 안면에 관한 단층 이미지인 제2 모델 영상을 생성하고, 텍스쳐 매핑부(130)가 상기 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑을 수행하고, 정합부(140)가 상기 제1 모델 영상에 상기 텍스쳐 매핑된 3차원 객체 영상을 매칭하여 상기 제1 모델 영상을 보정하고, 미러링부(150)가 상기 보정된 3차원 객체 영상에서 제2 관심 영역에 따른 제2 국부 영상을 그와 대응되는 피검사자의 제1 관심 영역의 제1 국부 영상에 대체한다. 상기 피검사자와 안면이 유사하더라도, 오차가 있을 것이므로, 최적화부를 이용해서, 상기 대체된 제1 모델 영상을 최적화할 수 있다.
외장 의안의 3차원 영상 생성 장치는 추가적으로 최적화부를 이용할 수 있다. 최적화부는 상기 대체된 제1 모델 영상을 최적화한다. 상기 최적화부는 상기 대체된 제1 모델 영상을 설계 또는 조작에서 연속적으로 각 부서의 엔지니어링 또는 프로세스를 합리적으로 결정하여 가장 적절한 계수를 정하여 전체의 효율, 성능, 경제성 등을 최적화하는 것을 의미할 수 있다. 본 발명에서 외장 의안의 3차원 영상을 최적화하는 것은, 3차원 객체 영상을 설계 또는 조작에서 연속적으로 각 부서의 엔지니어링 또는 프로세스를 합리적으로 결정하여 가장 적절한 계수를 정하여 전체의 효율, 성능, 경제성 등을 최적화하는 것을 의미할 수 있다.
상기 외장 의안 3차원 영상의 경제성이 좋다는 것은, 3차원 객체 영상의 설계에 사용되는 재료의 비용, 3차원 스캐너(110)가 피검사자의 안면에 관한 제1 모델 영상을 생성하는 비용, 단층 이미지 생성부(120)가 상기 피검사자의 안면에 관한 제2 모델 영상을 생성하는 비용, 텍스쳐 매핑부(130)가 상기 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑하는 비용, 정합부(140)가 상기 제1 모델 영상에 상기 텍스쳐 매핑된 3차원 객체 영상을 매칭하여 상기 제1 모델 영상을 보정하는 비용 및 미러링부(150)가 상기 보정된 제1 모델 영상에서 치료 대상이 되는 제1 관심 영역과 대응하는 제2 관심 영역에 따른 제2 국부 영상을 그와 대응되는 제1 관심 영역의 제1 국부 영상에 대체하는 비용을 합산한 비용과 상기 외장 의안 3차원 영상을 피검사자 또는 상기 외장 의안 3차원 영상의 구매자에게 상기 외장 의안 3차원 영상을 파는 비용을 비교하여 수익이 생성되는 정도를 의미할 수 있다. 상기 정상 안구 영역은 피검사자의 함몰된 안구 영역이 아닌, 정상적인 안구 영역을 의미할 수 있다.
도 7은 본 발명의 일 실시예에 따른 정합부(140)가 제1 모델 영상에 상기 텍스쳐 매핑된 3차원 객체 영상을 매칭하여 상기 제1 모델 영상을 보정하는 과정에 해당하는 이미지를 도시한 도면이다.
상기 정합부(140)가 제1 모델 영상에 상기 텍스쳐 매핑된 3차원 객체 영상을 매칭하여 상기 제1 모델 영상을 보정하는 과정에 해당하는 이미지를 도시한 도면은 수직 좌표를 기준으로 제2 국부 영상을 제1 국부 영상에 대체한 이미지(710), 제2 국부 영상을 제1 국부 영상에 대체한 이미지에서 인접한 화소들과 현저한 차이를 보이는 영역을 도시한 이미지를 정면에서 본 이미지(720), 제2 국부 영상을 제1 국부 영상에 대체한 이미지에서 인접한 화소들과 현저한 차이를 보이는 영역을 도시한 이미지를 우 측면에서 본 이미지(730), 상기 제1 모델 영상에서 차 집합 연산을 하여 외장 의안에 해당하는 영상을 추출한 이미지(722)를 포함하는 이미지(740)를 포함한다.
상기 수직 좌표를 기준으로 제2 국부 영상을 제1 국부 영상에 대체한 이미지(710)는 미러링부(150)가 상기 보정된 제1 모델 영상에서 치료 대상이 되는 제1 관심 영역과 대응하는 제2 관심 영역에 따른 제2 국부 영상을 그와 대응되는 제1 관심 영역의 제1 국부 영상에 대체한 이미지일 수 있다. 상기 미러링부(150)는 이마와 코 사이의 가장 안쪽 점(870)과 이마와 코 사이의 가장 볼록한 점의 위치를 추출하고, 상기 추출된 위치의 수직 좌표를 감지하고, 상기 감지된 수직 좌표를 기준으로 제2 국부 영상을 제1 국부 영상에 대체하는 장치일 수 있다.
상기 제2 국부 영상을 제1 국부 영상에 대체한 이미지에서 인접한 화소들과 현저한 차이를 보이는 영역을 도시한 이미지를 정면에서 본 이미지(720)는 제1 모델 영상에서 외부의 장치를 이용하여 상기 인접한 화소들과 현저한 차이를 보이는 영역을 추출한 이미지(722)를 포함하는 이미지일 수 있다. 상기 현저한 차이를 보이는 영역은 제1 관심 영역에 대응하는 제1 국부 영상과 제2 관심 영역에 대응하는 제2 국부 영상의 차이일 수 있다. 상기 현저한 차이를 보이는 영역은 검사자가 임의로 정한 기준 값 이상인 영역일 수 있다.
상기 제2 국부 영상을 제1 국부 영상에 대체한 이미지에서 인접한 화소들과 현저한 차이를 보이는 영역을 도시한 이미지를 우 측면에서 본 이미지(730)는 제1 모델 영상에서 외부의 장치를 이용하여 상기 인접한 화소들과 현저한 차이를 보이는 영역을 추출한 이미지(722)를 포함하는 이미지일 수 있다. 상기 현저한 차이를 보이는 영역은 제1 관심 영역에 대응하는 제1 국부 영상과 제2 관심 영역에 대응하는 제2 국부 영상의 차이일 수 있다. 상기 현저한 차이를 보이는 영역은 검사자가 임의로 정한 기준 값 이상인 영역일 수 있다.
상기 제1 모델 영상에서 차 집합 연산을 하여 외장 의안에 해당하는 영상을 추출한 이미지(722)를 포함하는 이미지(740)는 3차원 영상 생성 장치가 생성한 이미지일 수 있다. 상기 차 집합 연산을 수행하는 장치는 필터일 수 있다. 상기 추출된 외장 의안에 해당하는 영상은 상기 3차원 영상 생성 장치가 생성하고자 하는 영상일 수 있다.
도 8은 본 발명의 일 실시예에 따른 제1 관심 영역을 구성하는 지점들의 일 실시예를 도시한 도면(800)이다.
상기 제1 관심 영역을 구성하는 지점들은 최상위 점(810), 최하위 점(820), 최좌위 점(830), 최우위 점(840), 중심점(850), 중심점에서 가장 먼 점(860), 이마와 코 사이의 가장 안쪽 점(870)을 포함한다.
상기 제1 관심 영역은 치료의 대상이 되는 제1 안구 영역이고, 상기 제1 관심 영역은 콧등, 함몰된 안구 영역의 x축 양측 지점, 상기 함몰된 안구 영역의 y축 양측 지점, 상기 함몰된 안구 영역의 z축 양측 지점 중 적어도 하나를 이용하여 정의될 수 있다. 제1 국부 영상은 3차원 영상 생성 장치(100)에서 만든 3차원 영상에서 제1 관심영역에 해당하는 영상일 수 있다. 상기 제1 안구 영역은 안구가 아닌 안구 주변의 피부를 의미할 수 있다.
상기 콧등, 함몰된 안구 영역의 x축 양측 지점, 상기 함몰된 안구 영역의 y축 양측 지점, 상기 함몰된 안구 영역의 z축 양측 지점은 미리 지정된 지정 값 이상의 지점일 수 있다. 상기 미리 지정된 지정 값은 검사자가 임의로 지정한 값일 수 있다.
상기 제1 관심 영역은 상기 최상위 점(810), 최하위 점(820), 최좌위 점(830), 최우위 점(840), 중심점(850), 중심점에서 가장 먼 점(860), 이마와 코 사이의 가장 안쪽 점(870) 중 적어도 하나를 포함하여 정의되는 것일 수 있다. 예를 들어, 상기 제1 관심 영역은 콧등, 함몰된 안구 영역의 x축 양측 지점, 상기 함몰된 안구 영역의 y축 양측 지점, 상기 함몰된 안구 영역의 z축 양측 지점 외에도 최상위 점(810), 최하위 점(820), 최좌위 점(830), 최우위 점(840), 중심점(850), 중심점에서 가장 먼 점(860), 이마와 코 사이의 가장 안쪽 점(870)을 이용해서 정의될 수 있는 영역일 수도 있다.
상기 제1 관심 영역은 상기 최상위 점(810), 최하위 점(820), 최좌위 점(830), 최우위 점(840), 중심점(850), 중심점에서 가장 먼 점(860), 이마와 코 사이의 가장 안쪽 점(870) 이외에도 다른 지점들을 이용해서 정의될 수 있는 영역일 수도 있다.
또한, 상기 제2 관심 영역은 상기 최상위 점(810), 최하위 점(820), 최좌위 점(830), 최우위 점(840), 중심점(850), 중심점에서 가장 먼 점(860), 이마와 코 사이의 가장 안쪽 점(870) 중 적어도 하나를 포함하여 정의되는 것일 수 있다. 예를 들어, 상기 제2 관심 영역은 콧등, 정상적 안구 영역의 x축 양측 지점, 상기 정상적 안구 영역의 y축 양측 지점, 상기 정상적 안구 영역의 z축 양측 지점 외에도 최상위 점(810), 최하위 점(820), 최좌위 점(830), 최우위 점(840), 중심점(850), 중심점에서 가장 먼 점(860), 이마와 코 사이의 가장 안쪽 점(870)을 이용해서 정의될 수 있는 영역일 수도 있다.
상기 제2 관심 영역은 상기 최상위 점(810), 최하위 점(820), 최좌위 점(830), 최우위 점(840), 중심점(850), 중심점에서 가장 먼 점(860), 이마와 코 사이의 가장 안쪽 점(870) 이외에도 다른 지점들을 이용해서 정의될 수 있는 영역일 수도 있다.
도 9는 본 발명의 일 실시예에 따른 외장 의안의 3차원 영상 생성 방법의 흐름도를 도시한 도면이다.
본 발명의 일 실시예에 따른 외장 의안의 3차원 영상 생성 방법은 3차원 영상 생성 장치(100)에서 시계열적으로 처리되는 다음과 같은 단계들로 구성된다.
S110에서, 3차원 스캐너(110)가 피검사자의 안면에 관한 제1 모델 영상을 생성한다.
3차원 스캐너(110)는 피검사자의 안면의 외형에 대한 제1 모델 영상을 생성한다. 상기 3차원 스캐너(110)는 3차원 스캐닝을 이용하는 장치일 수 있다. 상기 3차원 스캐닝은 하드웨어 장비를 이용하여, 물체의 3차원 형태를 측정하는 방법이다. 3차원 스캐닝은 레이저를 발사하여 물체에 맞고 돌아오는 시간으로부터 물체까지의 거리를 측정하거나, 특별히 고안된 패턴 광을 이용하여 물체까지의 거리를 측정하는 방법이다. 패턴 광을 이용하여 거리를 측정할 때는 미리 고안된 여러 가지 무늬의 빛을 물체에 가한 뒤, 빛이 물체에 맺힌 형태로부터 물체까지의 거리를 측정한다.
제1 모델 영상은 3차원 스캐너(110)를 이용하여 피검사자의 안면을 스캐닝하여 획득한 피검사자의 안면에 관한 3차원 데이터로 표현되는 영상일 수 있다. 상기 3차원 데이터의 표면 정보는 3차원 컴퓨터 그래픽 표현 방식인 메시 정보로 변환되어 사용되는 정보일 수 있다.
S120에서, 단층 이미지 생성부(120)는 상기 피검사자의 안면에 관한 단층 이미지인 제2 모델 영상을 생성한다. 상기 제2 모델 영상은 2차원 데이터일 수 있다. 단층 이미지 생성부(120)가 단층 이미지를 생성하는 것은 컴퓨터 단층 촬영(CT)을 이용하여 단층 이미지를 생성하는 것일 수 있다.
컴퓨터 단층 촬영(CT)은 X선을 이용하여 인체의 횡단면상의 영상을 획득하여 진단에 이용하는 검사이다. 컴퓨터 단층 촬영(CT)은 X선 발생장치가 있는 원형의 큰 기계에 들어가서 촬영하며 단순 X선 촬영과 달리 인체를 가로로 자른 횡단면상을 획득한다. 컴퓨터 단층 촬영(CT)은 단순 X선 촬영에 비해 구조물이 겹쳐지는 것이 적어 구조물 및 병변을 조금 더 명확히 볼 수 있는 장점이 있다.
컴퓨터 단층 촬영(CT)은 단면상을 얻는다는 점에서 MRI와 공통점이 있지만, 컴퓨터 단층 촬영(CT)은 X선을 이용하여 영상을 얻고, MRI는 자기장 내에서 고주파를 전사하여 영상을 획득한다는 차이점이 있다. 또한 컴퓨터 단층 촬영(CT)은 MRI에 비하여 검사비가 싸고, 검사 시간이 짧은 장점이 있다. 반면 MRI는 컴퓨터 단층 촬영(CT)에 비하여 연조직의 표현력 및 대조도가 높다는 장점이 있다. 이전에는 MRI가 횡단면상뿐만 아니라 원하는 단면상의 영상을 자유롭게 획득할 수 있다는 것이 컴퓨터 단층 촬영(CT)에 비하여 장점으로 꼽아졌으나, 최근 들어 다중채널 컴퓨터 단층 촬영(CT)이 보급되면서 촬영 후 영상을 재구성하여 MRI처럼 원하는 단면상 및 입체적인 삼차원 영상도 자유로이 얻을 수 있게 되었다. 상기 3차원 스캐너(110)에서 형성된 제1 모델 영상 또는 상기 단층 이미지 생성부(120)에서 생성된 제2 모델 영상을 이용하여 데이터베이스 또는 라이브러리로 만들 수도 있다.
상기 제2 모델 영상은 상기 단층 이미지 생성부(120)에서 X선 또는 초음파를 여러 다른 각도에서 투사하여 그 투영 프로필을 컴퓨터로 해석하고 인체 등의 단면상을 재생하는 기술인 컴퓨터 단층 촬영(CT)을 이용하여 피검사자의 안면에 관한 단층 이미지를 생성하고, 상기 단층 이미지를 처리하는 소프트웨어를 이용하여 상기 단층 이미지를 분할해서 만들어진 것일 수 있다. 상기 단층 이미지는 DICOM 파일일 수 있다. 상기 DICOM은 의료용 디지털 영상 및 통신 표준을 의미하고, 상기 의료용 디지털 영상 및 통신 표준은 의료용 기기에서 디지털 영상 표현과 통신에 사용되는 여러 가지 표준을 총칭하는 말이다.
상기 단층 이미지를 처리하는 소프트웨어가 상기 단층 이미지를 분할하는 것은 화상 처리의 한 분야로, 원 화상을 분석하고, 화상이 갖는 성질이나 특징을 추출, 기술하는 것을 목적으로 한 것일 수 있다. 상기 단층 이미지를 처리하는 소프트웨어가 상기 단층 이미지를 분할하는 것은 segmentation 과정일 수 있다.
상기 단층 이미지 생성부(120)가 생성한 제2 모델 영상을 이용하면, 제1 모델 영상에서는 알 수 없는 정보를 알 수 있을 수 있다.
예를 들어서, 상기 단층 이미지 생성부(120)는 피검사자에게 X선 또는 초음파를 여러 다른 각도에서 투사하여 그 투영 프로필을 컴퓨터로 해석하고 인체의 단면상을 재생하는 것이기 때문에, 상기 3차원 스캐너로는 확인할 수 없는 정보를 확인해서, 외장 의안의 3차원 영상을 생성하는 과정에 있어서 도움이 될 수 있다.
상기 피검사자의 안면의 외형에 대한 제1 모델 영상을 생성하는 3차원 스캐너(110)는 피검사자의 안면의 외형에 대한 3차원 정보를 생성할 수 있고, 상기 피검사자의 안면에 관한 단층 이미지인 제2 모델 영상을 생성하는 단층 이미지 생성부(120)는 피검사자의 안면에 관한 단층 이미지를 생성한다. 상기 피검사자의 안면에 대한 단층 이미지를 이용하여, 상기 피검사자의 피부와 뼈 부분을 파악할 수 있기 때문에, 피검사자의 외장 의안을 생성하는데 있어서 도움이 될 수 있다.
S130에서, 텍스쳐 매핑부(130)는 상기 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑을 수행하는 장치일 수 있다. 상기 텍스쳐 매핑부(130)는 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑하는 소프트웨어를 이용하는 것일 수 있다. 상기 3차원 객체 영상은 검사자가 임의로 지정한 가상의 3차원 객체 영상일 수 있다. 상기 검사자는 의사일 수 있다.
상기 텍스쳐 매핑은 컴퓨터 그래픽스 분야에서 가상의 3차원 객체 영상의 표면에 세부적인 질감의 묘사를 하거나 색을 칠하는 기법이다. 일반적으로는 수식이나 2차원의 그림을 3차원 객체 영상의 표면에 여러 가지 방법을 통하여 적용하고 이에 따라 컴퓨터 그래픽 화면을 만들어 나갈 때 마치 실제의 물체처럼 느껴지게끔 그 세부 묘사를 하는 것이다. 이는 사실적인 3차원 장면을 구성하는 데 필요한 다각형 및 조명 계산의 수를 대폭 줄이게 해준다.
상기 제2 모델 영상을 기초로 3차원 객체 영상에 텍스쳐 매핑하는 것은 제2 모델 영상을 기초로 컴퓨터에 의해서 시상 단면을 재구성하는 것일 수 있다. 상기 제2 모델 영상을 기초로 복원하는 것은 reconstruction 과정일 수 있다. 상기 제2 모델 영상은 복수의 제2 모델 영상일 수 있다.
S140에서, 정합부(140)는 상기 제1 모델 영상에 상기 텍스쳐 매핑된 3차원 객체 영상을 매칭하여 상기 제1 모델 영상을 보정한다.
컴퓨터 비전에서 하나의 장면이나 대상을 다른 시간이나 관점에서 촬영할 경우, 영상은 서로 다른 좌표계에서 생성된다. 따라서, 정합부(140)는 서로 다른 좌표계에서 생성된 상기 제1 모델 영상의 좌표계와 3차원 객체 영상의 좌표계를 제1 모델 영상의 좌표계에 상기 제1 모델 영상과 3차원 객체 영상을 도시하는 장치일 수 있다. 상기 정합부(140)는 상기 제1 모델 영상에 상기 텍스쳐 매핑된 3차원 객체 영상을 매칭하여 상기 제1 모델 영상을 보정한다.
S150에서, 미러링부(150)는 상기 보정된 제1 모델 영상에서 치료 대상이 되는 제1 관심 영역과 대응하는 제2 관심 영역에 따른 제2 국부 영상을 그와 대응되는 제1 관심 영역의 제1 국부 영상에 대체한다.
상기 제1 관심 영역은 치료의 대상이 되는 제1 안구 영역이고, 상기 제1 관심 영역은 콧등, 함몰된 안구 영역의 x축 양측 지점, 상기 함몰된 안구 영역의 y축 양측 지점, 상기 함몰된 안구 영역의 z축 양측 지점 중 적어도 하나를 이용하여 정의될 수 있다. 상기 제1 관심 영역을 획득하는 것은 외부의 장치를 이용하여 상기 제1 관심 영역을 획득하는 것일 수 있다.
상기 제2 관심 영역은 치료의 대상이 아닌 제2 안구 영역이고, 상기 제2 관심 영역은 콧등, 정상적 안구 영역의 x축 양측 지점, 상기 정상적 안구 영역의 y축 양측 지점, 상기 정상적 안구 영역의 z축 양측 지점 중 적어도 하나를 이용하여 정의될 수 있다. 예를 들어 상기 제1 관심 영역과 제2 관심 영역은 콧등과 같이 피검사자의 얼굴에서 가장 높거나 가장 바깥쪽에 있는 부분일 수 있다. 상기 제2 관심 영역을 획득하는 것은 외부의 장치를 이용하여 상기 제2 관심 영역을 획득하는 것일 수 있다.
외장 의안의 3차원 영상 생성 장치는 추가적으로 최적화부를 이용할 수 있다. 최적화부가 상기 대체된 제1 모델 영상을 최적화한다. 상기 최적화부는 상기 대체된 제1 모델 영상을 설계 또는 조작에서 연속적으로 각 부서의 엔지니어링 또는 프로세스를 합리적으로 결정하여 가장 적절한 계수를 정하여 전체의 효율, 성능, 경제성 등을 최적화하는 것을 의미할 수 있다. 본 발명에서 외장 의안의 3차원 영상을 최적화하는 것은, 3차원 객체 영상을 설계 또는 조작에서 연속적으로 각 부서의 엔지니어링 또는 프로세스를 합리적으로 결정하여 가장 적절한 계수를 정하여 전체의 효율, 성능, 경제성 등을 최적화하는 것을 의미할 수 있다.
또한, 최적화부는 상기 대체된 제1 모델 영상을 외형적으로 최적화하는 하는 장치일 수 있다. 따라서, 상기 최적화부는 상기 대체된 제1 모델 영상을 외형적으로 최적화하기 위해서 별도의 소프트웨어를 포함할 수 있다.
Figure pat00001
여기에서, SF: 척도 인자 값, R1: 제1 모델 영상의 종횡비, R2: 제1 모델 영상의 대각선비, P1: 제1 모델 영상의 최상위 점(810), P4: 제1 모델 영상의 최하위 점(820), P5: 제1 모델 영상의 중심점(850), P6: 제1 모델 영상의 중심점에서 가장 먼 점(860),
Figure pat00002
: 제1 모델 영상의 최상위 점(810)에서 제1 모델 영상의 중심점(850)까지의 거리
Figure pat00003
: 제1 모델 영상의 최하위 점(820)에서 제1 모델 영상의 중심점(850)까지의 거리
Figure pat00004
: 제1 모델 영상의 최하위 점(820), 중심점(850), 중심점에서 가장 먼 점(860)이 이루는 각도를 의미한다.
상기 제1 모델 영상의 종횡비와 제1 모델 영상의 대각선비를 더한 값을 2로 승산한 값은 척도 인자 값과 같고, 상기 척도 인자 값은 제1 모델 영상의 최상위 점(810)에서 제1 모델 영상의 중심점(850)까지의 거리를 제1 모델 영상의 최하위 점(820)에서 제1 모델 영상의 중심점(850)까지의 거리로 승산한 값에 제1 모델 영상의 최하위 점(820)과 제1 모델 영상의 중심점(850)과 제1 모델 영상의 중심점에서 가장 먼 점(860)이 이루는 각을 탄젠트 취한 값을 더한 값을 2로 승산한 값과 같다. 상기 종횡비는 화면의 가로 대 세로의 비율을 의미하고, 검사자가 임의로 설정한 종횡비일 수 있다. 상기 대각선비는 화면의 가로 또는 세로와 대각선의 비율을 의미하는 것일 수 있다.
상기 계산된 척도 인자 값에 기초하여, 3차원 객체 영상의 형태가 제1 모델 영상의 형태와 같아지도록 상기 3차원 객체 영상을 확대 또는 축소한다. 상기 계산된 척도 인자 값에 기초하여, 3차원 객체 영상의 형태가 제1 모델 영상의 형태와 같아지도록 상기 3차원 객체 영상을 확대 또는 축소하는 것은 정합부(140) 또는 외부의 장치가 수행하는 것일 수 있다. 상기 제1 관심 영역을 구성하는 중심점(850)과 이마와 코 사이의 가장 안쪽 점(870)을 이용하여 상기 확대 또는 축소된 3차원 객체 영상의 수평 범위를 감지한다.
상기 중심점(850)과 이마와 코 사이의 가장 안쪽 점(870)을 이용하여 상기 확대 또는 축소된 3차원 객체 영상의 수평 범위를 감지하는 것은 외장 의안의 3차원 영상 생성 장치가 생성할 외장 의안에 해당하는 수평 범위를 감지하는 것일 수 있다. 상기 확대 또는 축소된 3차원 객체 영상의 형태는 제1 모델 영상과 같아지도록 유지하고, 수평 범위에서 3차원 객체 영상의 제1 관심 영역을 남기고, 상기 제1 모델 영상의 제1 관심 영역에 상기 텍스쳐 매핑된 3차원 객체 영상의 제1 관심 영역을 매칭하여 상기 제1 모델 영상을 보정한다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들이 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록 매체, 광 기록매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (15)

  1. 피검사자의 안면의 외형에 대한 제1 모델 영상을 생성하는 3차원 스캐너;
    상기 피검사자의 안면에 관한 단층 이미지인 제2 모델 영상을 생성하는 단층 이미지 생성부;
    상기 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑을 수행하는 텍스쳐 매핑부;
    상기 제1 모델 영상에 상기 텍스쳐 매핑된 3차원 객체 영상을 매칭하여 상기 제1 모델 영상을 보정하는 정합부; 및
    상기 보정된 제1 모델 영상에서 치료 대상이 되는 제1 관심 영역과 대응하는 제2 관심 영역에 따른 제2 국부 영상을 그와 대응되는 제1 관심 영역의 제1 국부 영상에 대체하는 미러링부를 포함하는 3차원 영상 생성 장치.
  2. 제1항에 있어서,
    상기 제1 모델 영상은 피검사자의 안면의 외형을 스캐닝하여 생성된 피검사자의 안면에 관한 3차원 데이터로 표현되는 영상인 것을 특징으로 하는 3차원 영상 생성 장치.
  3. 제1항에 있어서,
    상기 제2 모델 영상은 컴퓨터 단층 촬영을 이용하여 생성된 피검사자의 안면에 관한 2차원 데이터인 단층 이미지로 표현되는 영상인 것을 특징으로 하는 3차원 영상 생성 장치.
  4. 제1항에 있어서,
    상기 정합부는 영상 차감 기법, 주축 기법, 조인트 엔트로피 기법, 상호 정보량 기법, 상호 상관관계 기법 중 적어도 하나를 이용하여 상기 제1 모델 영상에 상기 텍스쳐 매핑된 3차원 객체 영상을 매칭하여 상기 제1 모델 영상을 보정하는 것을 특징으로 하는 3차원 영상 생성 장치.
  5. 제1항에 있어서,
    상기 제1 관심 영역은 치료의 대상이 되는 제1 안구 영역이고, 상기 제1 관심 영역은 콧등, 함몰된 안구 영역의 x축 양측 지점, 상기 함몰된 안구 영역의 y축 양측 지점, 상기 함몰된 안구 영역의 z축 양측 지점 중 적어도 하나를 이용하여 정의될 수 있는 것을 특징으로 하는 3차원 영상 생성 장치.
  6. 제1항에 있어서,
    상기 제2 관심 영역은 치료의 대상이 아닌 제2 안구 영역이고, 상기 제2 관심 영역은 콧등, 정상적 안구 영역의 x축 양측 지점, 상기 정상적 안구 영역의 y축 양측 지점, 상기 정상적 안구 영역의 z축 양측 지점 중 적어도 하나를 이용하여 정의될 수 있는 것을 특징으로 하는 3차원 영상 생성 장치.
  7. 제5항에 있어서,
    상기 콧등, 함몰된 안구 영역의 x축 양측 지점, 상기 함몰된 안구 영역의 y축 양측 지점, 상기 함몰된 안구 영역의 z축 양측 지점은 미리 지정된 지정 값 이상의 지점인 것을 특징으로 하는 3차원 영상 생성 장치.
  8. 피검사자의 안면의 외형에 대한 제1 모델 영상을 생성하는 단계;
    상기 피검사자의 안면에 관한 단층 이미지인 제2 모델 영상을 생성하는 단계;
    상기 제2 모델 영상을 3차원 객체 영상에 텍스쳐 매핑을 수행하는 단계;
    상기 제1 모델 영상에 상기 텍스쳐 매핑된 3차원 객체 영상을 매칭하여 상기 제1 모델 영상을 보정하는 단계; 및
    상기 보정된 제1 모델 영상에서 치료 대상이 되는 제1 관심 영역과 대응하는 제2 관심 영역에 따른 제2 국부 영상을 그와 대응되는 제1 관심 영역의 제1 국부 영상에 대체하는 단계를 포함하는 3차원 영상 생성 방법.
  9. 제8항에 있어서,
    상기 제1 모델 영상은 피검사자의 안면의 외형을 스캐닝하여 생성된 피검사자의 안면에 관한 3차원 데이터로 표현되는 영상인 것을 특징으로 하는 3차원 영상 생성 방법.
  10. 제8항에 있어서,
    상기 제2 모델 영상은 컴퓨터 단층 촬영을 이용하여 생성된 피검사자의 안면에 관한 2차원 데이터인 단층 이미지로 표현되는 영상인 것을 특징으로 하는 3차원 영상 생성 방법.
  11. 제8항에 있어서,
    상기 제1 모델 영상을 보정하는 단계는 영상 차감 기법, 주축 기법, 조인트 엔트로피 기법, 상호 정보량 기법, 상호 상관관계 기법 중 적어도 하나를 이용하여 상기 제1 모델 영상에 상기 텍스쳐 매핑된 3차원 객체 영상을 매칭하여 상기 제1 모델 영상을 보정하는 것을 특징으로 하는 3차원 영상 생성 방법.
  12. 제8항에 있어서,
    상기 제1 관심 영역은 치료의 대상이 되는 제1 안구 영역이고, 상기 제1 관심 영역은 콧등, 함몰된 안구 영역의 x축 양측 지점, 상기 함몰된 안구 영역의 y축 양측 지점, 상기 함몰된 안구 영역의 z축 양측 지점 중 적어도 하나를 이용하여 정의될 수 있는 것을 특징으로 하는 3차원 영상 생성 방법.
  13. 제8항에 있어서,
    상기 제2 관심 영역은 치료의 대상이 아닌 제2 안구 영역이고, 상기 제2 관심 영역은 콧등, 정상적 안구 영역의 x축 양측 지점, 상기 정상적 안구 영역의 y축 양측 지점, 상기 정상적 안구 영역의 z축 양측 지점 중 적어도 하나를 이용하여 정의될 수 있는 것을 특징으로 하는 3차원 영상 생성 방법.
  14. 제12항에 있어서,
    상기 콧등, 함몰된 안구 영역의 x축 양측 지점, 상기 함몰된 안구 영역의 y축 양측 지점, 상기 함몰된 안구 영역의 z축 양측 지점은 미리 지정된 지정 값 이상의 지점인 것을 특징으로 하는 3차원 영상 생성 방법.
  15. 제8항 및 제14항 중 어느 한 항에 따른 외장 의안의 3차원 영상 생성 방법을 컴퓨터에서 수행하기 위한 컴퓨터에서 판독 가능한 프로그램이 기록된 저장 매체.
KR1020170067901A 2017-05-31 2017-05-31 외장 의안의 3차원 영상 생성 장치 및 방법 KR102007316B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170067901A KR102007316B1 (ko) 2017-05-31 2017-05-31 외장 의안의 3차원 영상 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170067901A KR102007316B1 (ko) 2017-05-31 2017-05-31 외장 의안의 3차원 영상 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180131211A true KR20180131211A (ko) 2018-12-10
KR102007316B1 KR102007316B1 (ko) 2019-08-05

Family

ID=64671016

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170067901A KR102007316B1 (ko) 2017-05-31 2017-05-31 외장 의안의 3차원 영상 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102007316B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102120610B1 (ko) 2020-03-03 2020-06-08 김숭현 디지털 방식 기반 외장의안 제작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005160646A (ja) * 2003-12-01 2005-06-23 Takeshi Hino インプラントの設計方法およびインプラント
KR20120096238A (ko) * 2011-02-22 2012-08-30 주식회사 모르페우스 안면보정 이미지 제공방법 및 그 시스템
KR20160004862A (ko) * 2014-07-04 2016-01-13 주식회사 인스바이오 환자맞춤형 치아교정 모의시술과 이를 통한 시뮬레이션 및 치아 교정장치 또는 치아교정 시술유도장치 제작방법
KR101673800B1 (ko) 2015-08-19 2016-11-09 인하대학교 산학협력단 3d 프린팅을 위한 척추뼈 부분 모델링 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005160646A (ja) * 2003-12-01 2005-06-23 Takeshi Hino インプラントの設計方法およびインプラント
KR20120096238A (ko) * 2011-02-22 2012-08-30 주식회사 모르페우스 안면보정 이미지 제공방법 및 그 시스템
KR20160004862A (ko) * 2014-07-04 2016-01-13 주식회사 인스바이오 환자맞춤형 치아교정 모의시술과 이를 통한 시뮬레이션 및 치아 교정장치 또는 치아교정 시술유도장치 제작방법
KR101673800B1 (ko) 2015-08-19 2016-11-09 인하대학교 산학협력단 3d 프린팅을 위한 척추뼈 부분 모델링 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이호, 지역적 가중치 거리맵을 이용한 3차원 영상 정합* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102120610B1 (ko) 2020-03-03 2020-06-08 김숭현 디지털 방식 기반 외장의안 제작 방법

Also Published As

Publication number Publication date
KR102007316B1 (ko) 2019-08-05

Similar Documents

Publication Publication Date Title
Wang et al. DeepOrganNet: on-the-fly reconstruction and visualization of 3D/4D lung models from single-view projections by deep deformation network
US10438363B2 (en) Method, apparatus and program for selective registration three-dimensional tooth image data to optical scanning tooth model
CN103356155B (zh) 虚拟内窥镜辅助的腔体病灶检查系统
CN109584349B (zh) 用于渲染材料属性的方法和设备
US10362941B2 (en) Method and apparatus for performing registration of medical images
US8559689B2 (en) Medical image processing apparatus, method, and program
Maken et al. 2D-to-3D: a review for computational 3D image reconstruction from X-ray images
Jones Facial Reconstruction Using Volumetric Data.
US20070167784A1 (en) Real-time Elastic Registration to Determine Temporal Evolution of Internal Tissues for Image-Guided Interventions
JP2010246883A (ja) 患者位置決めシステム
CN107194909A (zh) 医用图像处理装置及医用图像处理程序
Baka et al. Statistical shape model-based femur kinematics from biplane fluoroscopy
CN111369675B (zh) 基于肺结节脏层胸膜投影的三维可视模型重建方法及装置
Cheema et al. Image-aligned dynamic liver reconstruction using intra-operative field of views for minimal invasive surgery
Schumann et al. An integrated system for 3D hip joint reconstruction from 2D X-rays: a preliminary validation study
CN108876783B (zh) 图像融合方法及系统、医疗设备和图像融合终端
Weng et al. Three-dimensional surface reconstruction using optical flow for medical imaging
WO2022187768A9 (en) System and methods for inferring thickness of object classes of interest in two-dimensional medical images using deep neural networks
CN112116623B (zh) 图像分割方法及装置
Oliveira et al. Development of a bcct quantitative 3d evaluation system through low-cost solutions
KR102007316B1 (ko) 외장 의안의 3차원 영상 생성 장치 및 방법
US20050163357A1 (en) Medical viewing system and image processing for integrated visualisation of medical data
WO2020173054A1 (zh) Vrds 4d医学影像处理方法及产品
Preim et al. Visualization, Visual Analytics and Virtual Reality in Medicine: State-of-the-art Techniques and Applications
KR102534981B1 (ko) 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant