KR20140057916A - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20140057916A
KR20140057916A KR1020120124272A KR20120124272A KR20140057916A KR 20140057916 A KR20140057916 A KR 20140057916A KR 1020120124272 A KR1020120124272 A KR 1020120124272A KR 20120124272 A KR20120124272 A KR 20120124272A KR 20140057916 A KR20140057916 A KR 20140057916A
Authority
KR
South Korea
Prior art keywords
image
pose
display device
feature point
input image
Prior art date
Application number
KR1020120124272A
Other languages
English (en)
Inventor
이선민
김도균
안민수
이영범
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120124272A priority Critical patent/KR20140057916A/ko
Publication of KR20140057916A publication Critical patent/KR20140057916A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

영상 처리 장치가 제공된다. 영상 처리 장치의 계산부는, 입력 영상으로부터, 상기 입력 영상에 포함되는 객체에 연관되는 제1 포즈 및 상기 객체와 구분되며 상기 입력 영상에 포함되는 디스플레이 기기에 연관되는 제2 포즈를 계산할 수 있다. 영상 처리 장치의 렌더링부는 상기 제1 포즈 및 상기 제2 포즈에 기초하여 상기 객체에 연관되는 영상 데이터를 결과 영상으로 렌더링할 수 있다.

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}
영상 처리 장치 및 방법에 연관되며, 보다 특정하게는 증강현실(Augmented Reality: AR)을 이용하여 디스플레이 기기에 디스플레이될 이미지를 객체의 포즈 정보에 정합시키는 영상 처리 장치 및 방법에 연관된다.
증강현실(AR) 기술의 발전에 따라, 의료 분야에 증강현실 기술을 접목하고자 하는 시도가 시작되고 있다.
이를테면, 인체 내부의 장기 또는 뼈 등에 대한 영상들 (X-ray, Ultrasound, MRI, CT 등) 및 3D 모델을 사람의 실 영상에 정합하여 보여주도록 구현하여, 진료, 치료, 교육, 훈련 등에 활용하는 경우가 있다.
진료 또는 치료의 예에서, 의사가 환자를 보면서, 환자 앞에 위치한 디스플레이를 통해 의료 정보를 함께 볼 수 있도록 하는 경우, 환자 보호자와의 효과적인 커뮤니케이션에 도움이 될 수 있다.
이러한 구현을 위해서, 종래에는 디스플레이기기와 결합된 카메라를 통해 객체를 식별하여 증강현실을 구현하는 기술이 요구된다.
종래 기술로는 고정되어 있는 모니터를 활용하는 방식에 관한 "Mirracle: Augmented Reality In-situ Visualization of Human Anatomy using a Magic Mirror, IEEE Virtual Reality 2012", 자체 센서가 부착되어 있는 HMD(Head-Mounted Display)를 활용하는 방식에 관한 "Virtual Penetrating Mirror Device for Visualizing of Virtual Objects within an Augmented Reality Environment, US20100149213A" 등이 있다.
일측에 따르면, 입력 영상으로부터, 상기 입력 영상에 포함되는 객체에 연관되는 제1 포즈 및 상기 객체와 구분되며 상기 입력 영상에 포함되는 디스플레이 기기에 연관되는 제2 포즈를 계산하는 계산부; 및 상기 제1 포즈 및 상기 제2 포즈에 기초하여 상기 객체에 연관되는 영상 데이터를 렌더링하여, 결과 영상을 생성하는 렌더링부를 포함하는 영상 처리 장치가 제공된다.
일실시예에 따르면, 상기 계산부는, 상기 입력 영상으로부터 상기 객체에 대응하는 적어도 하나의 제1 특징점(at least one first feature point)을 추출하는 특징점 추출부; 및 상기 적어도 하나의 제1 특징점을 이용하여 상기 제1 포즈에 포함되는 제1 벡터를 계산하는 벡터 계산부를 포함할 수 있다.
이 경우, 상기 특징점 추출부는 상기 입력 영상으로부터 상기 디스플레이 기기에 대응하는 적어도 하나의 제2 특징점을 추출하고, 상기 벡터 계산부는 상기 적어도 하나의 제2 특징점을 이용하여 상기 제2 포즈에 포함되는 제2 벡터를 계산할 수 있다.
또한, 상기 특징점 추출부는, 상기 입력 영상 및 상기 입력 영상에 연관되는 추가 영상 중 적어도 하나로부터 상기 객체 또는 상기 디스플레이 기기에 대응하는 관심 영역을 설정하고, 상기 관심 영역에 대하여 블로브 세그먼테이션(Blob Segmentation)을 수행하고, 미리 지정된 칼라를 상기 디스플레이 기기에 대응하는 영역으로 결정하고, 상기 디스플레이 기기에 대응하는 영역으로부터 상기 디스플레이 기기에 대응하는 적어도 하나의 제2 특징점을 추출하고, 상기 벡터 계산부는 상기 적어도 하나의 제2 특징점을 이용하여 상기 제2 포즈에 포함되는 제2 벡터를 계산할 수 있다.
다른 일실시예에 따르면, 상기 특징점 추출부는 상기 입력 영상 및 상기 입력 영상에 연관되는 추가 영상 중 적어도 하나로부터 상기 디스플레이 기기에 부착된 적어도 하나의 마커를 식별하여 상기 디스플레이 기기에 대응하는 적어도 하나의 제2 특징점을 추출하고, 상기 벡터 계산부는 상기 적어도 하나의 제2 특징점을 이용하여 상기 제2 포즈에 포함되는 제2 벡터를 계산할 수 있다.
일실시예에 따르면, 상기 입력 영상은 상기 객체 및 상기 디스플레이 기기를 촬영한 깊이 영상(Depth image)일 수 있다.
일실시예에 따르면, 상기 영상 데이터는, 상기 객체에 연관되는 의료정보를 포함하는 3D(3-Dimensional) 모델 및 상기 객체에 연관되는 의료 영상 중 적어도 하나를 포함할 수 있다.
예시적으로, 상기 의료 영상에는 X-ray 영상, 컴퓨터 단층 촬영(CT)영상, 자기공명 영상법(MRI) 영상 중 적어도 하나가 포함될 수 있다.
이 경우, 상기 결과 영상은 증강 현실 기술이 적용되어 상기 객체에 매칭되는 X-ray 영상, 컴퓨터 단층 촬영(CT)영상 또는 자기공명 영상법(MRI) 영상 등일 수 있다.
한편, 일실시예에 따르면, 상기 영상 처리 장치는 상기 입력 영상을 수신하는 수신부를 더 포함하고, 상기 입력 영상은 카메라 장치의 이미지 센서에 의해 생성된 영상일 수 있다.
또 다른 일실시예에 따르면, 상기 영상 처리 장치는 상기 결과 영상을 표시하기 위한 디스플레이부를 더 포함할 수 있다.
다른 일측에 따르면, 카메라 장치에 임베디드 되는 영상 처리 장치에 있어서, 상기 카메라 장치의 이미지 센서 및 처리부에 의해 생성되는 입력 영상을 수신하는 수신부; 상기 입력 영상에 포함되는 객체에 연관되는 제1 포즈 및 상기 객체와 구분되며 상기 입력 영상에 포함되는 디스플레이 기기에 연관되는 제2 포즈를 계산하는 계산부; 및 상기 제1 포즈 및 상기 제2 포즈에 기초하여 상기 객체에 연관되는 영상 데이터를 렌더링하여, 결과 영상을 생성하는 렌더링부를 포함하는 영상 처리 장치가 제공된다.
일실시예에 따르면, 상기 입력 영상은 상기 카메라 장치의 상기 이미지 센서 및 상기 처리부에 의해 생성될 수 있다.
또 다른 일측에 따르면, 디스플레이부를 포함하는 컴퓨팅 단말에 임베디드 되는 영상 처리 장치에 있어서, 입력 영상에 포함되는 객체에 연관되는 제1 포즈 및 상기 디스플레이부에 연관되는 제2 포즈를 계산하는 계산부; 및 상기 제1 포즈 및 상기 제2 포즈에 기초하여 상기 객체에 연관되는 영상 데이터를 렌더링하여, 결과 영상을 생성하는 렌더링부를 포함하는 영상 처리 장치가 제공된다.
또 다른 일측에 따르면, 영상 처리 장치의 계산부가, 입력 영상으로부터, 상기 입력 영상에 포함되는 객체에 연관되는 제1 포즈 및 상기 객체와 구분되며 상기 입력 영상에 포함되는 디스플레이 기기에 연관되는 제2 포즈를 계산하는 단계; 및 상기 영상 처리 장치의 렌더링부가, 상기 제1 포즈 및 상기 제2 포즈에 기초하여 상기 객체에 연관되는 영상 데이터를 렌더링하는 단계를 포함하는 영상 처리 방법이 제공된다.
일실시예에 따르면, 상기 계산하는 단계는, 상기 입력 영상으로부터 상기 객체에 대응하는 적어도 하나의 제1 특징점을 추출하는 단계; 및 상기 적어도 하나의 제1 특징점을 이용하여 상기 제1 포즈에 포함되는 제1 벡터를 계산하는 단계를 포함할 수 있다.
일실시예에 따르면, 상기 영상 처리 방법은, 상기 입력 영상으로부터 상기 디스플레이 기기에 대응하는 적어도 하나의 제2 특징점을 추출하는 단계; 및 상기 적어도 하나의 제2 특징점을 이용하여 상기 제2 포즈에 포함되는 제2 벡터를 계산하는 단계를 더 포함할 수도 있다.
이 경우, 상기 적어도 하나의 제2 특징점을 추출하는 단계는, 상기 입력 영상 및 상기 입력 영상에 연관되는 추가 영상 중 적어도 하나로부터 상기 객체 또는 상기 디스플레이 기기에 대응하는 관심 영역을 설정하는 단계; 상기 관심 영역에 대하여 블로브 세그먼테이션(Blob Segmentation)을 수행하여, 미리 지정된 칼라를 상기 디스플레이 기기에 대응하는 영역으로 결정하는 단계; 및 상기 디스플레이 기기에 대응하는 영역으로부터 상기 디스플레이 기기에 대응하는 적어도 하나의 제2 특징점을 추출하는 단계를 포함할 수 있다.
다른 일실시예에 따르면, 상기 영상 처리 방법은, 상기 입력 영상 및 상기 입력 영상에 연관되는 추가 영상 중 적어도 하나로부터 상기 디스플레이 기기에 부착된 적어도 하나의 마커를 식별하여 상기 디스플레이 기기에 대응하는 적어도 하나의 제2 특징점을 추출하는 단계; 및 상기 적어도 하나의 제2 특징점을 이용하여 상기 제2 포즈에 포함되는 제2 벡터를 계산하는 단계를 더 포함할 수 있다.
일실시예에 따르면, 상기 영상 데이터는, 상기 객체에 연관되는 의료정보를 포함하는 3D(3-Dimensional) 모델 및 상기 객체에 연관되는 의료 영상 중 적어도 하나일 수 있다. 예시적으로, 상기 의료 영상에는 X-ray 영상, 컴퓨터 단층 촬영(CT)영상, 자기공명 영상법(MRI) 영상 중 적어도 하나가 포함될 수 있다.
일실시예에 따르면, 상기 영상 데이터를 렌더링하는 단계는, 상기 제1 포즈 및 상기 제2 포즈에 기초하여 상기 객체에 연관된 증강 현실 영상을 상기 디스플레이 기기 상에 구현하는 단계일 수 있다.
도 1은 일실시예에 따른 영상 처리 장치의 블록도이다.
도 2는 일실시예에 따라 객체 및 디스플레이 기기의 포즈를 추정하기 위한 영상을 획득하는 과정을 설명하기 위한 개념도이다.
도 3은 일실시예에 따라 생성되는 객체 및 디스플레이 기기의 깊이 영상을 도시한다.
도 4는 일실시예에 따른 계산부의 예시적 세부 블록도이다.
도 5는 일실시예에 따라 객체로부터 특징점을 추출하는 과정을 설명하기 위한 개념도이다.
도 6은 일실시예에 따라 객체의 포즈를 계산하는 과정을 설명하기 위한 개념도이다.
도 7은 일실시예에 따라 디스플레이 기기의 포즈를 계산하는 과정을 설명하기 위한 개념도이다.
도 8은 일실시예에 따라 디스플레이 기기에서 디스플레이 될 원본 영상을 도시한다.
도 9는 일실시예에 따른 영상 처리 방법에 따라 도 8의 원본 영상을 처리한 결과영상이 디스플레이 기기 상에서 디스플레이 되는 모습을 도시한다.
도 10은 일실시예에 따른 영상 처리 방법을 도시하는 예시적 흐름도이다.
이하에서, 일부 실시예들를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 영상 처리 장치(100)의 블록도이다.
수신부(110)는 입력 영상을 수신하여 계산부(120)에 전달한다. 상기 영상의 수신은 영상 처리 장치(100)의 구현 형태에 따라 유선 및/또는 무선 전송에 의한 것일 수 있다.
일실시예에 따르면, 계산부(120)는 객체 및 디스플레이 기기 각각의 포즈를 계산한다. 본 명세서 전반에 걸쳐, 객체의 포즈를 제1 포즈라 지칭할 수 있으며, 디스플레이 기기의 포즈를 제2 포즈라 할 수 있다.
한편, 포즈(pose)에는 위치 및 방향 중 적어도 하나의 정보가 포함될 수 있다. 계산부(120)가 객체에 대한 제1 포즈를 계산하는 실시예들에 대해서는 도 2 내지 도 6을 참조하여 상세히 후술한다.
또한, 계산부(120)가 디스플레이 기기에 대한 제2 포즈를 계산하는 다양한 실시예들에 대해서는 도 2, 도 3, 도 4 및 도 7 등을 참조하여 보다 상세히 후술한다.
일실시예에 따르면, 렌더링부(130)는 상기 객체에 연관되며 저장부(140)에 저장되어 있는 영상 데이터를 로드(loading)하여, 디스플레이 기기 상에서 제공될 증강현실 영상을 렌더링한다.
이러한 렌더링 과정에 대해서는 도 8 내지 도 9를 참조하여 상세히 후술한다.
일실시예에 따르면, 영상 처리 장치(100)는 입력 영상을 생성하는 카메라 단말이나 증강현실 영상을 제공하는 디스플레이 기기와는 별도로 제공되는 컴퓨팅 단말에 의해 구현될 수 있다.
그러나 이는 일실시예에 불과하며, 다른 일실시예에서는 영상 처리 장치(100)가 카메라 단말 내에 임베디드 되는 내부 모듈일 수도 있다. 이 경우에 렌더링부(130)가 제공하는 영상이 별도의 디스플레이 기기로 전송될 수 있다.
나아가 또 다른 일실시예에 따르면, 영상 처리 장치(100)는 디스플레이부를 포함하는 컴퓨팅 단말, 이를테면 태블릿 PC나 스마트폰 등의 정보 단말기 내에 포함되는 내부 모듈일 수도 있다.
이러한 경우, 카메라가 생성한 입력 영상이 유선 및/또는 무선 통신 경로를 통해 상기 컴퓨팅 단말에 전송되면 컴퓨팅 단말 내에 포함되는 영상 처리 장치(100)가 증강현실 영상을 생성하여 상기 디스플레이부에 디스플레이되도록 제공할 수 있다.
기존의 모바일 단말을 이용한 증강현실(AR)에서는, 단말 내에 장착되어 있는 각종 센서 (자이로 센서, 관성 센서, GPS 수신기 등)를 이용하거나 또는 단말에 내장된 카메라를 이용하여 증강현실 결과 영상을 실제 객체와 정합시켰다.
그러나, 이 경우 센서들의 측정 오차 등에 의해 매칭 정확도가 높지 않고 GPS 수신기의 경우 실내에서는 정확하게 동작하지 않는 경우도 있었다. 따라서, 실내에서 의료 분야에 활용되는 증강현실 영상 제공에는 이러한 방법에 한계가 있다.
한편, 단말에 내장된 카메라 모듈을 이용하여 객체를 촬영한 다음 증강현실 영상을 매칭시키는 경우, 단말과 객체(의료 분야에서는 예시적으로 환자의 몸) 사이의 거리가 일정 이상 유지되어야 하는데, 하기 도 2에서 도시되는 예시적 상황과 같이 단말과 객체의 사이가 매우 가까운 경우에는 이러한 매칭에 한계가 있다.
따라서, 일실시예에 따르면, 영상 처리 장치(100)는 외부에서 촬영된 입력 영상을 수신하여 객체와 디스플레이 모두의 포즈를 계산하고, 계산된 포즈들의 정보를 이용하여 객체와 증강 현실 영상을 매칭시킨다. 이러한 과정은 후술할 렌더링 과정에 포함되어 언급될 수 있다.
다만, 이러한 서술이 영상 처리 장치(100)가 카메라와 별개인 일부 실시예 국한되는 것을 의미하는 것은 아니며, 경우에 따라서는 상기한 바와 같이 카메라 모듈과 영상 처리 장치(100)는 얼마든지 하나의 패키징을 통해 제공될 수 있다.
또한, 이하에서는 특정한 순간(time instance)에서 객체 및 디스플레이 기기의 포즈를 계산하여 증강 현실 영상을 매칭시키는 일부 실시예들을 설명하나, 이러한 특정 순간을 시-연속적으로 적용하면 (예를 들어서 프레임 별 처리) 연속적인 객체 및/또는 디스플레이 기기의 추적(tracking)도 가능함은 자명하다.
한편, 실시예들의 설명에 있어서 디스플레이 기기의 종류는 일부 예시적 응용에 제한되지 않는다. 예를 들어, 디스플레이 기기가 태블릿 PC, 평판 패널, 투명 디스플레이, 플렉서블 디스플에이 등일 수 있으나, 이는 일부 실시예에 불과하며 디스플레이 기기의 종류에 관해서는 다양한 변형이 있을 수 있다.
이러한 디스플레이 기기의 다양한 변형에 대해서는 응용 분야에 따라 각각의 장점이 있을 수 있다. 예를 들어, 디스플레이 기기가 투명 디스플레이인 경우에는 별도의 카메라에 의해 촬영되는 객체 영상과의 정합이 생략될 수 있기 때문에 실시예들에 따른 증강현실을 구현하는 데에 유용할 수 있다.
도 2는 일실시예에 따라 객체 및 디스플레이 기기의 포즈를 추정하기 위한 영상을 획득하는 과정을 설명하기 위한 개념도(200)이다.
일실시예에 따르면, 카메라(210)는 객체(201) 및 디스플레이 기기(202)를 촬영하여 깊이 영상을 생성할 수 있다.
일부 실시예에 따르면, 상기 카메라(210)는 깊이 영상을 획득할 수 있는 깊이 카메라(Depth camera)일 수 있다. 한편, 다른 일부 실시예에 따르면, 상기 카메라(210)는 칼라 영상 및 깊이 영상을 모두 생성할 수 있는 카메라일 수도 있다.
따라서, 카메라(210)의 종류나 성능은, 예시적으로 설명되는 일부 실시예로 국한되어 해석되어서는 안 된다.
일실시예에 따르면, 카메라(210)가 객체(201)와 디스플레이 기기(202)를 함께 촬영한다.
일실시예에 따르면, 상기한 바와 같이, 영상 처리 장치(100)는 객체(201)와 디스플레이 기기(202) 각각의 포즈를 모두 결정하여 디스플레이 기기(202) 상에 증강 현실을 구현할 수 있다.
객체(201)와 디스플레이 기기(202) 각각의 포즈 결정에 관한 실시예는 도 3을 참조하여 보다 상세히 후술한다.
도 3은 일실시예에 따라 생성되는 객체 및 디스플레이 기기의 깊이 영상(300)을 도시한다.
깊이 영상(300)에는 객체(201)에 대응하는 부분(310)과 디스플레이 기기(202)에 대응하는 부분(320)이 포함될 수 있다.
예시적으로 도 3에서는 깊이 영상(300)이 단순화되어(simplified) 도시되었지만, 실제로 카메라(210)에 의해 생성되는 깊이 영상에는 카메라(210)로부터의 거리에 의해 양자화되는 다양한 깊이 값들이 포함될 수 있다.
또한, 깊이 영상(300)은 카메라(210)에 의해 촬영된 이후 전처리(pre-processing) 과정을 거친 것일 수 있다. 상기 전처리에는, 예시적으로, 노이즈 줄이기(noise reduction), 홀 채우기(hole filling), 에지 강화(edge enhancement) 등 중 적어도 하나가 포함될 수 있다.
나아가, 상기 전처리에는, 예시적으로, 세그먼테이션(segmentation)또는 영역 분할과 깊이 값이 일정 임계치 이상 되는 영역의 제거가 포함될 수도 있다. 상기 임계치가 객체(201)로 추정되는 영역의 최대 깊이 값보다 크게 설정된다면, 원본 깊이 영상(raw depth image)로부터 배경 영역(330)이 미리 제거되어 이후 과정의 영상 처리의 정확성이 보다 높아질 수도 있다.
한편, 일실시예에 따르면, 도 1의 계산부(120)는 깊이 영상(300)으로부터 객체(201)의 위치와 방향을 나타내는 제1 포즈(Pose)를 계산한다. 또한, 계산부(120)는 깊이 영상(300)으로부터 디스플레이 기기(202)의 위치와 방향을 나타내는 제2 포즈를 계산한다.
구체적인 계산 과정은 도 4 내지 도 7을 참고하여 보다 상세히 후술한다.
도 4는 일실시예에 따른 계산부의 예시적 세부 블록도이다.
일실시예에 따르면, 계산부(120)는 특징점 추출부(410) 및 벡터 계산부(420)를 포함할 수 있다.
일실시예에 따르면, 먼저 객체(201)의 위치 및 방향 정보를 포함하는 상기 제1 포즈를 계산하는 과정은 다음과 같다.
특징점 추출부(410)는 객체(201)에 대응하는 적어도 하나의 제1 특징점을 깊이 영상(300)으로부터 추출할 수 있다.
일실시예에 따르면, 카메라(210)에 상용화된 KINECT 카메라인 경우, 특징점 추출부(410)은 알려진 KINECT SDK를 이용하여 인체 스켈레톤 조인트 포인트(human body skeleton joint point)를 추출하는 과정에 의해 상기 적어도 하나의 제1 특징점이 추출될 수 있다.
예시적으로, 상기 객체(201)가 인체(human body)인 경우 상기 적어도 하나의 제1 특징점은, 인체의 좌측 어깨 포인트(a point corresponding to the left shoulder of the human body), 우측 어깨 포인트(a point corresponding to the right shoulder of the human body) 및 척추 포인트(a point corresponding to at least a part of spine of the human body)를 포함할 수 있다.
그리고 벡터 계산부(420)는 상기 적어도 하나의 제1 특징점을 이용하여 상기 제1 포즈에 포함되는 제1 벡터를 계산할 수 있다. 예시적으로, 상기 제1 벡터는 상기 적어도 하나의 제1 특징점이 포함되는 제1 평면의 노말(normal) 벡터일 수 있다.
상기 적어도 하나의 제1 특징점을 추출하는 과정 및 상기 제1 벡터를 계산하는 과정에 대해서는 도 5 및 도 6을 참조하여 보다 상세히 후술한다.
한편, 일실시예에 따르면, 상기 특징점 추출부(410)는 깊이 영상(300)으로부터 상기 디스플레이 기기(202)에 대응하는 적어도 하나의 제2 특징점을 추출할 수 있다.
여기서 상기 적어도 하나의 제2 특징점은, 예시적으로, 상기 디스플레이 기기(202)의 적어도 꼭지점들에 대응할 수 있다.
이 경우, 상기 벡터 계산부(420)는 상기 적어도 하나의 제2 특징점을 이용하여 상기 제2 포즈에 포함되는 제2 벡터를 계산할 수 있다. 예시적으로, 상기 제2 벡터는 상기 적어도 하나의 제2 특징점이 포함되는 제2 평면의 노말 벡터일 수 있다. 그리고, 상기 제2 평면은 디스플레이 기기(202) 표면(surface)과 일치하거나 또는 평행할 수 있다.
한편, 다른 일실시예에 따르면, 특징점 추출부(410)는 상기 깊이 영상(310)에 연관되는 별도의 추가 영상(Additional image), 이를테면 칼라 영상(미도시)을 참조하여 상기 적어도 하나의 제2 특징점을 추출할 수도 있다.
이 실시예에서 상기 디스플레이 기기(202)에는 복수 개의 마커(Marker)가 부착되어 있을 수 있다. 이 경우, 상기 특징점 추출부(410)는 상기 칼라 영상으로부터 상기 복수 개의 마커를 식별하여 상기 디스플레이 기기(202)에 대응하는 적어도 하나의 제2 특징점을 추출할 수 있다.
이 경우, 예시적으로, 상기 적어도 하나의 제2 특징점은 상기 디스플레이 기기(202)에 부착된 마커들의 위치에 대응할 수 있다.
마커 기반(Marker-based) 특징점 추출은 이 기술이 속하는 분야에서 널리 알려져 있으므로 더 구체적인 설명은 생략한다.
한편, 이러한 제2 특징점 추출 과정에서 특징점 추출부(410)는 상기 깊이 영상(300)을 함께 참고할 수도 있다.
도 5는 일실시예에 따라 객체로부터 특징점을 추출하는 과정을 설명하기 위한 개념도(500)이다.
특징점 추출부(410)에 의해, 입력 영상으로부터 적어도 하나의 제1 특징점 P1, P2 및 P3가 추출되었다.
이러한 P1, P2 및 P3의 각각의 3차원 좌표를 이용하면 P1, P2 및 P3를 포함하는 제1 평면이 계산될 수 있다.
이러한 과정은 도 6을 참조하여 설명한다.
도 6은 일실시예에 따라 객체의 포즈를 계산하는 과정을 설명하기 위한 개념도이다.
일실시예에 따르면, P1의 좌표가 (x1, y1, z1), P2의 좌표가 (x2, y2, z2)이고, P3의 좌표가 (x3, y3, z3)인 경우, 벡터 계산부(420)에 의해, 하기 수학식 1 및 수학식 2를 이용하면 제1 평면(610) 방정식이 계산될 수 있다.
Figure pat00001
Figure pat00002
상기 수학식 1 및 수학식 2에서, 벡터 계수 a, b 및 c가 구해지면, 상기 제1 평면(610)의 노말 벡터(또는 방향 벡터)인 제1 벡터 v1 = [a, b, c] 이 구해질 수 있다.
한편, 이러한 실시예에 의해 객체(201)의 위치와 방향 등의 정보를 포함하는 제1 포즈가 결정될 수 있으나, 이러한 일부 실시예에 국한되는 것은 아니다.
예를 들어, 객체(201), 이를테면 인체 자체에도 별도의 마커들을 부착하여 마커 기반의 포즈 추정을 하는 것이 가능하다. 예시적으로 이러한 기술에는, Mark Fiala 저술 "Magic Mirror System with Hand-held and Wearable Augmentations" 등을 참조하는 다양한 변형 실시예들이 가능하다.
도 7은 일실시예에 따라 디스플레이 기기의 포즈를 계산하는 과정을 설명하기 위한 개념도이다.
일실시예에 따르면, 특징점 추출부(410)는 디스플레이 기기(202)를 대표하는 적어도 하나의 제2 특징점인 q1, q2, q3 및 q4를 추출할 수 있다.
도 2를 참고해서 도시된 바와 같이, 통상적으로 디스플레이 기기(202)가 객체(201)보다 카메라에 가까이 있으므로, 특징점 추출부(410)는 깊이 영상(300)에서 상기 객체(201)보다 깊이 값이 더 큰(카메라로부터 더 먼) 영역은 미리 제거할 수도 있다.
일실시예에 따르면, 특징점 추출부(410)는 이러한 배경 영역이 제거된 관심 영역(Region of Interest)에 대하여 블로브 세그먼테이션(Blob Segmentation)을 수행한다.
이러한 블로브 세그먼테이션에 의해 추출된 적어도 하나의 세그먼트된 영역들의 칼라 값을 확인하여, 미리 결정된 칼라에 해당하는 부분을 디스플레이 기기(202)에 연관된 영역으로 결정할 수 있다. 이러한 과정에서는 깊이 영상(300) 외에 상기 추가적 칼라 영상이 참고될 수 있다.
예시적으로, 디스플레이 기기의 칼라가 검정이라면, 상기 미리 결정된 칼라는 검정색일 수 있다.
그리고, 특징점 추출부(410)는 상기 디스플레이 기기(202)에 대응하는 영역으로부터 적어도 하나의 제2 특징점을 추출할 수 있다.
이를 테면 상기 적어도 하나의 제2 특징점은 상기 디스플레이 기기(202)에 대응하는 영역의 꼭지점들로 결정될 수 있다.
그러면, 상기 벡터 계산부(420)는 상기 적어도 하나의 제2 특징점 q1, q2, q3 및 q4를 이용하여 상기 제2 포즈에 포함되는 제2 벡터 v2를 계산할 수 있다.
한편, 디스플레이 기기(202)의 위치를 대표하는 중심 포인트는, 통상적인 디스플레이 기기의 형태가 사각형임을 반영하여 상기 추출된 영역의 중심 포인트로 선정될 수 있다.
또한, 제2 벡터의 계산에 있어서는 도 5 및 도 6을 참조하여 설명한 수학식들에서와 유사하게, q1, q2, q3 및 q4의 3차원 좌표 값을 이용한 제2 평면 방정식을 구하는 과정이 수행될 수 있다.
만약, 디스플레이 기기(202)와 카메라(210)의 위치가 고정되어 있는 경우라면, 객체(201)의 위치 및 방향의 정보에 관한 제1 포즈만 추정하는 것도 가능하지만, 이는 일부 실시예에 불과하다. 따라서, 디스플레이 기기(202) 자체가 이동 가능한(mobile) 기기라면 상기한 과정에 의해 제2 포즈도 추정하는 것이 필요할 수 있다.
도 8은 일실시예에 따라 디스플레이 기기에서 디스플레이 될 원본 영상(800)을 도시한다.
원본 영상(800)은 도 1의 렌더링부(130)에 의해 렌더링 되는 영상 데이터의 일 예일 수 있다. 예시적으로, 도 8에서는 X-ray 영상이 도시되었다. 물론, 상기한 바와 같이 영상 데이터는 다른 형태의 의료 영상들일 수도 있으며(이를 테면, MRI 영상, CT 영상 등), 다양한 영상 정보를 포함하는 3D 그래픽 모델일 수도 있다.
렌더링부(130)는 상기 제1 포즈와 상기 제2 포즈를 이용하여, 상기 원본 영상(800)이 디스플레이 기기(202) 상에서 디스플레이되어야 할 결과 영상을 생성한다. 이 결과 영상은 객체(201), 이를테면 인체와 정합되어 증강현실(AR)을 구현할 수 있도록 제공된다.
이 과정에서 렌더링부(130)는 디스플레이 기기(202)와 객체(201)를 바라볼 가상의 시점(미도시)을 고려할 수 있다.
이 가상의 시점을 고려하여 상기 디스플레이 영역(202)의 노말 벡터인 v2 벡터를 참고하고, 디스플레이 영역의 주성분 분석(Principal Component Analysis)을 통해 추정된 방향 벡터를 이용할 수 있다.
예시적으로, OpenGL 기반의 렌더링에서는, 하기 함수 gluLookAt(cop.x, cop.y, cop.z, dir.x, dir.y, dir.z, up.x, up.y, up.z)를 이용할 수 있다.
그리고, 이러한 렌더링 과정에서 영상이 원본 영상에 비해 확대되거나 축소되는 가시 크기(viewing volume)가 결정되어 활용될 수 있으며, 이러한 결정에는 디스플레이 기기(202)의 실제 넓이(width)와 높이(height)가 참고될 수 있다.
이 경우, 추가적으로 고려되는 OpenGL 함수는, glOrtho(left, right, bottom,top, nearVal, farVal), left.x = cop.x -width/2, right = cop.x+width/2, bottom.y = cop.y-height/2, top = cop.y+height/2 등이 있다.
도 9는 일실시예에 따른 영상 처리 방법에 따라 도 8의 원본 영상을 처리한 결과영상이 디스플레이 기기 상에서 디스플레이 되는 모습을 도시한다.
상기와 같은 영상 처리 방법의 수행에 따라, 실제 객체(201)의 위치와 방향 및/또는 크기에 맞게 상기 원본 영상이 렌더링된 결과 영상인 증강현실 영상(910)가 디스플레이 기기(202) 상에 디스플레이 된다.
이러한 증강현실 영상(910)의 디스플레이에 따라, 환자(객체 201에 대응)와 의료인 사이의 효과적인 커뮤니케이션이 기대될 수 있다. 또한, 영상 데이터가 다른 신체 부위에 대해서도 준비되어 있을 경우 간단히 디스플레이 기기(202)의 위치를 다른 부위 앞으로 변경함으로써 해당 부위에 대한 영상도 즉각적으로 확인할 수 있다.
나아가 이러한 시스템의 구비에 따라, 영상 처리 장치(100)의 저장부(140)에 실시간으로 업데이트 되는 최신 업데이트된 데이터를 반영하여 환자를 진료하는 것이 가능하다.
도 10은 일실시예에 따른 영상 처리 방법을 도시하는 예시적 흐름도이다.
단계(1010)에서 입력 깊이 영상이 수신된다. 이러한 깊이 영상은 도 2 내지 도 3을 참조하여 상세히 설명한 깊이 영상(300)에 연관된다.
단계(1020)에서 계산부(120)는 객체 및 디스플레이 기기 각각의 포즈를 계산한다. 상기 객체의 제1 포즈를 계산하는 과정은 도 4 내지 도 6을 참조하여 상술한 바와 같다.
또한, 디스플레이 기기의 제2 포즈를 계산하는 과정은 도 4 및 도 7 등을 참조하여 상술한 바와 같다.
그러면, 렌더링부(130)는 단계(1030)에서 상기 객체에 연관되는 영상 데이터를 이용하여 디스플레이 기기(202) 상에서 디스플레이 될 영상(이를 테면 영상 910)을 렌더링 한다. 이러한 과정은 도 8 내지 도 9를 참조하여 상술한 바와 같다.
영상 처리 장치(100)가 디스플레이 기기(202)와 함께 패키징 되지 않는 실시예들에서 영상 처리 장치(100)는 디스플레이 기기(202)로 유선 및/또는 무선 통신 방법으로 상기 결과 영상을 전송할 수 있다(1040).
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (18)

  1. 입력 영상으로부터, 상기 입력 영상에 포함되는 객체에 연관되는 제1 포즈 및 상기 객체와 구분되며 상기 입력 영상에 포함되는 디스플레이 기기에 연관되는 제2 포즈를 계산하는 계산부; 및
    상기 제1 포즈 및 상기 제2 포즈에 기초하여 상기 객체에 연관되는 영상 데이터를 렌더링하여, 결과 영상을 생성하는 렌더링부
    를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 계산부는,
    상기 입력 영상으로부터 상기 객체에 대응하는 적어도 하나의 제1 특징점을 추출하는 특징점 추출부; 및
    상기 적어도 하나의 제1 특징점을 이용하여 상기 제1 포즈에 포함되는 제1 벡터를 계산하는 벡터 계산부
    를 포함하는 영상 처리 장치.
  3. 제2항에 있어서,
    상기 특징점 추출부는 상기 입력 영상으로부터 상기 디스플레이 기기에 대응하는 적어도 하나의 제2 특징점을 추출하고,
    상기 벡터 계산부는 상기 적어도 하나의 제2 특징점을 이용하여 상기 제2 포즈에 포함되는 제2 벡터를 계산하는 영상 처리 장치.
  4. 제3항에 있어서,
    상기 특징점 추출부는, 상기 입력 영상 및 상기 입력 영상에 연관되는 추가 영상 중 적어도 하나로부터 상기 객체 또는 상기 디스플레이 기기에 대응하는 관심 영역을 설정하고, 상기 관심 영역에 대하여 블로브 세그먼테이션(Blob Segmentation)을 수행하고, 미리 지정된 칼라를 상기 디스플레이 기기에 대응하는 영역으로 결정하고, 상기 디스플레이 기기에 대응하는 영역으로부터 상기 디스플레이 기기에 대응하는 적어도 하나의 제2 특징점을 추출하고,
    상기 벡터 계산부는 상기 적어도 하나의 제2 특징점을 이용하여 상기 제2 포즈에 포함되는 제2 벡터를 계산하는 영상 처리 장치.
  5. 제2항에 있어서,
    상기 특징점 추출부는 상기 입력 영상 및 상기 입력 영상에 연관되는 추가 영상 중 적어도 하나로부터 상기 디스플레이 기기에 부착된 적어도 하나의 마커를 식별하여 상기 디스플레이 기기에 대응하는 적어도 하나의 제2 특징점을 추출하고,
    상기 벡터 계산부는 상기 적어도 하나의 제2 특징점을 이용하여 상기 제2 포즈에 포함되는 제2 벡터를 계산하는 영상 처리 장치.
  6. 제1항에 있어서,
    상기 입력 영상은 상기 객체 및 상기 디스플레이 기기를 촬영한 깊이 영상인 영상 처리 장치.
  7. 제1항에 있어서,
    상기 영상 데이터는, 상기 객체에 연관되는 의료정보를 포함하는 3D(3-Dimensional) 모델 및 상기 객체에 연관되는 의료 영상 중 적어도 하나를 포함하는 영상 처리 장치.
  8. 제 1 항에 있어서,
    상기 입력 영상을 수신하는 수신부를 더 포함하고,
    상기 입력 영상은 카메라 장치의 이미지 센서에 의해 생성된 영상인 영상 처리 장치.
  9. 제8항에 있어서,
    상기 카메라 장치는 깊이 영상을 촬영하기 위한 장치인 영상 처리 장치.
  10. 제 1 항에 있어서,
    상기 결과 영상을 표시하기 위한 디스플레이부를 더 포함하는 영상 처리 장치.
  11. 영상 처리 장치의 계산부가, 입력 영상으로부터, 상기 입력 영상에 포함되는 객체에 연관되는 제1 포즈 및 상기 객체와 구분되며 상기 입력 영상에 포함되는 디스플레이 기기에 연관되는 제2 포즈를 계산하는 단계; 및
    상기 영상 처리 장치의 렌더링부가, 상기 제1 포즈 및 상기 제2 포즈에 기초하여 상기 객체에 연관되는 영상 데이터를 렌더링하는 단계
    를 포함하는 영상 처리 방법.
  12. 제11항에 있어서,
    상기 계산하는 단계는,
    상기 입력 영상으로부터 상기 객체에 대응하는 적어도 하나의 제1 특징점을 추출하는 단계; 및
    상기 적어도 하나의 제1 특징점을 이용하여 상기 제1 포즈에 포함되는 제1 벡터를 계산하는 단계
    를 포함하는 영상 처리 방법.
  13. 제12항에 있어서,
    상기 입력 영상으로부터 상기 디스플레이 기기에 대응하는 적어도 하나의 제2 특징점을 추출하는 단계; 및
    상기 적어도 하나의 제2 특징점을 이용하여 상기 제2 포즈에 포함되는 제2 벡터를 계산하는 단계
    를 더 포함하는 영상 처리 방법.
  14. 제13항에 있어서,
    상기 적어도 하나의 제2 특징점을 추출하는 단계는,
    상기 입력 영상 및 상기 입력 영상에 연관되는 추가 영상 중 적어도 하나로부터 상기 객체 또는 상기 디스플레이 기기에 대응하는 관심 영역을 설정하는 단계;
    상기 관심 영역에 대하여 블로브 세그먼테이션(Blob Segmentation)을 수행하여, 미리 지정된 칼라를 상기 디스플레이 기기에 대응하는 영역으로 결정하는 단계; 및
    상기 디스플레이 기기에 대응하는 영역으로부터 상기 디스플레이 기기에 대응하는 적어도 하나의 제2 특징점을 추출하는 단계
    를 포함하는 영상 처리 방법.
  15. 제12항에 있어서,
    상기 입력 영상 및 상기 입력 영상에 연관되는 추가 영상 중 적어도 하나로부터 상기 디스플레이 기기에 부착된 적어도 하나의 마커를 식별하여 상기 디스플레이 기기에 대응하는 적어도 하나의 제2 특징점을 추출하는 단계; 및
    상기 적어도 하나의 제2 특징점을 이용하여 상기 제2 포즈에 포함되는 제2 벡터를 계산하는 단계
    를 더 포함하는 영상 처리 방법.
  16. 제11항에 있어서,
    상기 영상 데이터는, 상기 객체에 연관되는 의료정보를 포함하는 3D(3-Dimensional) 모델 및 상기 객체에 연관되는 의료 영상 중 적어도 하나를 포함하는 영상 처리 방법.
  17. 제16항에 있어서,
    상기 영상 데이터를 렌더링하는 단계는, 상기 제1 포즈 및 상기 제2 포즈에 기초하여 상기 객체에 연관된 증강 현실 영상을 상기 디스플레이 기기 상에 구현하는 단계인 영상 처리 방법.
  18. 제11항 내지 제17항 중 어느 한 항에 있어서, 상기 영상 처리 방법을 수행하는 프로그램을 포함한 컴퓨터 판독 가능 기록매체.
KR1020120124272A 2012-11-05 2012-11-05 영상 처리 장치 및 방법 KR20140057916A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120124272A KR20140057916A (ko) 2012-11-05 2012-11-05 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120124272A KR20140057916A (ko) 2012-11-05 2012-11-05 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20140057916A true KR20140057916A (ko) 2014-05-14

Family

ID=50888433

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120124272A KR20140057916A (ko) 2012-11-05 2012-11-05 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20140057916A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020162672A1 (ko) * 2019-02-08 2020-08-13 한국원자력의학원 표재성 병변 치료를 위한 저에너지 방사선 치료 시스템 및 그 운용방법
KR20210084373A (ko) * 2014-08-18 2021-07-07 삼성전자주식회사 배경 화면을 디스플레이하는 방법 및 장치
KR20220082260A (ko) * 2020-12-10 2022-06-17 주식회사 엘지유플러스 3차원 콘텐츠를 렌더링하기 위한 단말 및 그 동작 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210084373A (ko) * 2014-08-18 2021-07-07 삼성전자주식회사 배경 화면을 디스플레이하는 방법 및 장치
WO2020162672A1 (ko) * 2019-02-08 2020-08-13 한국원자력의학원 표재성 병변 치료를 위한 저에너지 방사선 치료 시스템 및 그 운용방법
US11986676B2 (en) 2019-02-08 2024-05-21 Korea Institute Of Radiological & Medical Sciences Low energy radiation therapy system for superficial lesion treatment and operation method thereof
KR20220082260A (ko) * 2020-12-10 2022-06-17 주식회사 엘지유플러스 3차원 콘텐츠를 렌더링하기 위한 단말 및 그 동작 방법

Similar Documents

Publication Publication Date Title
EP2915140B1 (en) Fast initialization for monocular visual slam
US9990744B2 (en) Image registration device, image registration method, and image registration program
US10235118B2 (en) Augmented reality device and method for providing assistance to a worker at a remote site
JP5818773B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5248806B2 (ja) 情報処理装置、情報処理方法
US11961193B2 (en) Method for controlling a display, computer program and mixed reality display device
EP3640889A1 (en) In situ creation of planar natural feature targets
CN114586063A (zh) 使用增强现实的医疗程序
WO2015142446A1 (en) Augmented reality lighting with dynamic geometry
US11490062B2 (en) Information processing apparatus, information processing method, and storage medium
KR20150024029A (ko) 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템
KR20160098560A (ko) 동작 분석 장치 및 방법
EP3242602B1 (en) Ultrasound imaging apparatus and method for segmenting anatomical objects
US11436790B2 (en) Passthrough visualization
Macedo et al. A semi-automatic markerless augmented reality approach for on-patient volumetric medical data visualization
JP6493885B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム
KR20140057916A (ko) 영상 처리 장치 및 방법
US10798360B2 (en) Information processing system, method for controlling same, and program
KR20200117685A (ko) 가상 객체 인식 방법, 상기 가상 객체를 이용한 증강 현실 콘텐츠 제공 방법 및 이를 위한 증강 방송 시스템
KR20090070258A (ko) 3차원 기하학 정보를 이용한 실시간 지시 영역 추정 방법
Lin et al. Dense surface reconstruction with shadows in mis
JP2008040913A (ja) 情報処理方法、情報処理装置
EP4050400B1 (en) Display apparatuses and methods incorporating image masking
CN114270408A (zh) 用于控制显示器的方法、计算机程序和混合现实显示设备
JP2022112168A (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application