KR102479120B1 - 가변 초점 방식의 3d 텐서 기반 3차원 영상 획득 방법 및 장치 - Google Patents

가변 초점 방식의 3d 텐서 기반 3차원 영상 획득 방법 및 장치 Download PDF

Info

Publication number
KR102479120B1
KR102479120B1 KR1020200178689A KR20200178689A KR102479120B1 KR 102479120 B1 KR102479120 B1 KR 102479120B1 KR 1020200178689 A KR1020200178689 A KR 1020200178689A KR 20200178689 A KR20200178689 A KR 20200178689A KR 102479120 B1 KR102479120 B1 KR 102479120B1
Authority
KR
South Korea
Prior art keywords
value
tensor
image
subject
focus
Prior art date
Application number
KR1020200178689A
Other languages
English (en)
Other versions
KR20220088050A (ko
Inventor
이익현
Original Assignee
한국공학대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국공학대학교산학협력단 filed Critical 한국공학대학교산학협력단
Priority to KR1020200178689A priority Critical patent/KR102479120B1/ko
Publication of KR20220088050A publication Critical patent/KR20220088050A/ko
Application granted granted Critical
Publication of KR102479120B1 publication Critical patent/KR102479120B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20088—Trinocular vision calculations; trifocal tensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 가변 초점 방식의 3D 텐서 기반 영상 획득 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 가변 초점 방식의 3D 텐서 기반 영상 획득 방법은 (a) 피사체에 대한 이미지 시퀀스를 획득하는 단계; (b) 상기 이미지 시퀀스에 대한 3D(3-dimension) 텐서 기반 표면 정보를 산출하는 단계; (c) 상기 3D 텐서 기반 표면 정보를 이용하여 초점 값을 결정하는 단계; 및 (d) 상기 초점 값에 기반하여 상기 피사체에 대한 3D 이미지를 디스플레이하는 단계;를 포함할 수 있다.

Description

가변 초점 방식의 3D 텐서 기반 3차원 영상 획득 방법 및 장치{A method and apparatus for 3D tensor-based 3-dimension image acquisition with variable focus}
본 발명은 가변 초점 방식의 3D 텐서 기반 영상 획득 방법 및 장치에 관한 것으로, 더욱 상세하게는 가변 초점 방식의 3D 텐서의 표면 정보를 이용하는 영상 획득 방법 및 장치에 관한 것이다.
다양한 깊이맵(depth map, 거리정보) 및 삼차원(3D) 형상 복원 기술중에서, 초점기반 방법(DFF: depth from focus, SFF: shape from focus)은 초점을 가변하여 획득한 이차원(2D) 영상으로부터 피사체의 3차원 구조나 깊이정보를 추정하는 방법이다. 지난 10녀연동안, 초점기반 방법은 기술 구현이 비교적 심플하나, 정확도가 높고, 빠른 처리속도로 인하여 상당한 관심을 받아왔다.
다만, 기존 방법은 2D 영상에서 계산을 하는데, 각 장마다 3x3, 5x5 등 비교적 작은 2D 마스크를 이용하여, 같은 2D 마스크를 이용하여 연산량이 크며, 노이즈에 약하다는 문제점이 있다.
또한, 기존 방법에서 2D 마스크는 2D 영상에서만 처리하므로, 진동 발생시 위/아래 2D 영상에 의한 연산 오류 발생 가능이 존재한다.
[특허문헌 1] 한국등록특허 제10-1608253호
본 발명은 전술한 문제점을 해결하기 위하여 창출된 것으로, 가변 초점 방식의 3D 텐서 기반 영상 획득 방법 및 장치를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 3D 텐서의 표면(surfaceness) 정보를 이용하는 가변 초점 방식의 3D 텐서 기반 영상 획득 방법 및 장치를 제공하는 것을 그 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상기한 목적들을 달성하기 위하여, 본 발명의 일 실시예에 따른 가변 초점 방식의 3D 텐서 기반 영상 획득 방법은, (a) 피사체에 대한 이미지 시퀀스를 획득하는 단계; (b) 상기 이미지 시퀀스에 대한 3D(3-dimension) 텐서 기반 표면 정보를 산출하는 단계; (c) 상기 3D 텐서 기반 표면 정보를 이용하여 초점 값을 결정하는 단계; 및 (d) 상기 초점 값에 기반하여 상기 피사체에 대한 3D 이미지를 디스플레이하는 단계;를 포함할 수 있다.
실시예에서, 상기 (b) 단계는, 상기 이미지 시퀀스로부터 상기 3D 텐서 기반 표면 정보에 대한 돌출 값(saliency value)을 산출하는 단계;를 포함할 수 있다.
실시예에서, 상기 (c) 단계는, 상기 3D 텐서 기반 표면 정보를 이용하여 상기 이미지 시퀀스의 각 픽셀에 대한 초점 값(focus value)을 결정하는 단계;를 포함할 수 있다.
실시예에서, 상기 (d) 단계는, 상기 초점 값을 이용하여 상기 이미지 시퀀스의 각 픽셀에 대한 깊이 값(depth value)을 결정하는 단계; 및 상기 깊이 값에 기반하여 상기 피사체에 대한 3D 이미지를 생성하는 단계;를 포함할 수 있다.
실시예에서, 상기 깊이 값을 결정하는 단계는, 상기 이미지 시퀀스의 각 픽셀에 대한 초점 값을 미리 결정된 방향으로 최대화하여 상기 깊이 값을 결정하는 단계;를 포함할 수 있다.
실시예에서, 가변 초점 방식의 3D 텐서 기반 영상 획득 장치는, 피사체에 대한 이미지 시퀀스를 획득하는 촬영부; 및 상기 이미지 시퀀스에 대한 3D(3-dimension) 텐서 기반 표면 정보를 산출하고, 상기 3D 텐서 기반 표면 정보를 이용하여 초점 값을 결정하는 제어부; 및 상기 초점 값에 기반하여 상기 피사체에 대한 3D 이미지를 디스플레이하는 표시부;를 포함할 수 있다.
실시예에서, 상기 제어부는, 상기 이미지 시퀀스로부터 상기 3D 텐서 기반 표면 정보에 대한 돌출 값(saliency value)을 산출할 수 있다.
실시예에서, 상기 제어부는, 상기 3D 텐서 기반 표면 정보를 이용하여 상기 이미지 시퀀스의 각 픽셀에 대한 초점 값(focus value)을 결정할 수 있다.
실시예에서, 상기 제어부는, 상기 초점 값을 이용하여 상기 이미지 시퀀스의 각 픽셀에 대한 깊이 값(depth value)을 결정하고, 상기 표시부는, 상기 깊이 값에 기반하여 상기 피사체에 대한 3D 이미지를 생성할 수 있다.
실시예에서, 상기 제어부는, 상기 이미지 시퀀스의 각 픽셀에 대한 초점 값을 미리 결정된 방향으로 최대화하여 상기 깊이 값을 결정할 수 있다.
상기한 목적들을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술될 실시예들을 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자(이하, "통상의 기술자")에게 발명의 범주를 완전하게 알려주기 위해서 제공되는 것이다.
본 발명의 일 실시예에 의하면, 3D 텐서 기반 표면 정보를 이용하여 결정된 초점 값에 기반하여 피사체에 대한 3D 이미지를 디스플레이함으로써, 연산량이 감소하고, 노이즈에 강하며, 연산 오류 발생 가능성이 감소할 수 있다.
본 발명의 효과들은 상술된 효과들로 제한되지 않으며, 본 발명의 기술적 특징들에 의하여 기대되는 잠정적인 효과들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
도 1a는 본 발명의 일 실시예에 따른 가변 초점 방식의 3D 텐서 기반 영상 획득 장치를 도시한 도면이다.
도 1b 및 1c는 본 발명의 일 실시예에 따른 가변 초점 방식의 3D 텐서 기반 영상 획득 과정을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 가변 초점 방식의 3D 텐서 기반 영상 획득 방법을 도시한 도면이다.
도 3a 내지 3e는 본 발명의 일 실시예에 따른 2D 및 3D 초점 측정 성능 비교 그래프를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 RMSE 성능 비교 그래프를 도시한 도면이다.
도 5a 내지 5e는 본 발명의 일 실시예에 따른 이미지 생성 성능 비교 그래프를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 가변 초점 방식의 3D 텐서 기반 영상 획득 장치의 기능적 구성을 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시예들을 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
청구범위에 개시된 발명의 다양한 특징들은 도면 및 상세한 설명을 고려하여 더 잘 이해될 수 있을 것이다. 명세서에 개시된 장치, 방법, 제법 및 다양한 실시예들은 예시를 위해서 제공되는 것이다. 개시된 구조 및 기능상의 특징들은 통상의 기술자로 하여금 다양한 실시예들을 구체적으로 실시할 수 있도록 하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다. 개시된 용어 및 문장들은 개시된 발명의 다양한 특징들을 이해하기 쉽게 설명하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다.
본 발명을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
이하, 본 발명의 일 실시예에 따른 가변 초점 방식의 3D 텐서 기반 영상 획득 방법 및 장치를 설명한다.
도 1a는 본 발명의 일 실시예에 따른 가변 초점 방식의 3D 텐서 기반 영상 획득 장치(110)를 도시한 도면이다. 도 1b 및 1c는 본 발명의 일 실시예에 따른 가변 초점 방식의 3D 텐서 기반 영상 획득 과정을 도시한 도면이다.
도 1a 내지 1c를 참고하면, 본 발명에 따른 영상 획득 장치(110)는 카메라와 렌즈를 포함할 수 있다. 이 경우, 영상 획득 장치(110)는 이동하며 3차원 피사체를 촬영하여 이미지를 획득할 수 있다. 일 실시예에서, 피사체의 기준면을 이동시키며 영상 획득 장치(110)는 피사체를 촬영하여 이미지를 획득할 수 있다.
이 경우, 이동에 따라 획득된 3D 이미지 영상에서 텐서(tensor)를 이용하여 3D로 계산할 수 있다. 이를 통해, 본 발명에 따르면, 종래의 2D 영상에서 2D 마스크를 이용하여 연산을 수행하는 경우에 비하여, 각 이미지 장마다 계산할 필요가 없기 때문에 연산량이 감소하며, 노이즈에 강하고, 진동 발생 시 3D 영상에 의한 처리 방식으로 연산 오류 발생 가능성이 감소할 수 있다.
일 실시예에서, 본 발명에 따른 가변 초점 방식의 3D 텐서 기반 영상 획득 과정은 자율주행 차량용 3D(depth map) 카메라 기술, 반도체, 디스플레이, PCT 검사 기술, 의료(병리학 등) 분야의 세포 측정, 전체 슬라이드 이미지(whole slide image)와 같은 다양한 분야에 적용될 수 있다.
영상 획득 장치(110)는 3D 구조 텐서 분석을 기반으로 피사체에 대한 정확한 3D 형상 추정을 위한 새로운 초점 측정을 사용할 수 있다.
먼저, 영상 획득 장치(110)는 각 픽셀에 대한 입력 이미지 시퀀스로부터 3D 텐서를 계산할 수 있다.
그런 다음, 영상 획득 장치(110)는 각 텐서를 고유 값(eigen value)과 고유 벡터(eigen vector)로 분해하여 포인트(pointness), 커브(curveness) 및 표면(surfaceness) 텐서로 분해할 수 있다.
또한, 영상 획득 장치(110)는 표면 정보를 선명도의 품질을 측정하는데 사용할 수 있다.
본 발명에 따른 영상 획득 장치(110)의 초점 측정은 정확한 초점 값과 노이즈에 대한 더 나은 저항을 제공할 수 있다.
영상 획득 장치(110)는 본 발명에 따른 초점 결상(Shape From Focus, SFF) 과정을 수행할 수 있다.
영상 획득 장치(110)는 3D ST(structure tensor)를 얻기 위해 먼저 이미지 볼륨의 그라디언트(gradient)를 하기 <수학식 1>과 같이 계산할 수 있다.
Figure 112020138191920-pat00001
여기서 Gx, Gy 및 Gz는 각각 x, y 및 z 방향의 1차 도함수(first-order derivatives)를 나타낸다.
일 실시예에서, 3D ST T는 하기 <수학식 2>와 같이 계산될 수 있다.
Figure 112020138191920-pat00002
여기서
Figure 112020138191920-pat00003
는
Figure 112020138191920-pat00004
가 있는 가우스 스무딩 커널(Gaussian smoothing kernel)이고, *는 컨볼루션 연산자입니다.
일 실시예에서, 고유 값(eigen value)과 고유 벡터(eigen vector)를 기반으로 하는 3D ST의 2차 형식(quadratic form) T은 하기 <수학식 3>과 같이 계산될 수 있다.
Figure 112020138191920-pat00005
여기서
Figure 112020138191920-pat00006
,
Figure 112020138191920-pat00007
및
Figure 112020138191920-pat00008
은 고유 벡터이고
Figure 112020138191920-pat00009
,
Figure 112020138191920-pat00010
및
Figure 112020138191920-pat00011
은 해당 고유 값을 나타낸다.
일 실시예에서, 3D ST의 압축 형식(compact form) T은 하기 <수학식 4>와 같이 계산될 수 있다.
Figure 112020138191920-pat00012
이러한 텐서는 3D에서 시각화될 수 있다. 예를 들어, 연관된 시각화된 텐서는 볼(ball), 플레이트(plate) 및 스틱(stick)일 수 있다.
이 세 가지 단수 텐서(볼, 플레이트 및 스틱)는 점(pointness,), 곡선(curveness) 및 표면(surfaceness)과 관련된 정보를 제공할 수 있다.
일 실시예에서, 텐서 T는 하기 <수학식 5>와 같이 세 가지 요소의 선형 조합으로 표현할 수 있다.
Figure 112020138191920-pat00013
일 실시예에서, 각 텐서 요소는 하기 <표 1>과 같이 나타낼 수 있다.
Information Tensor Saliency
Pointness A ball
Figure 112020138191920-pat00014
Figure 112020138191920-pat00015
Curveness A plate
Figure 112020138191920-pat00016
Figure 112020138191920-pat00017
-
Figure 112020138191920-pat00018
Surfaceness A stick
Figure 112020138191920-pat00019
Figure 112020138191920-pat00020
-
Figure 112020138191920-pat00021
본 발명에 따르면, 영상 획득 장치(110)는 초점 측정을 계산하기 위해 표면 정보를 사용할 수 있다. 여기서, 표면 정보는 표면 텐서(surfaceness tensor)에 대한 돌출 측정 값(saliency measure)을 포함할 수 있다. 이 경우, 표면 정보는 가장 큰 고유 값과 두 번째로 큰 고유 값의 차이(즉,
Figure 112020138191920-pat00022
-
Figure 112020138191920-pat00023
)일 수 있다.
일 실시예에서, 각 픽셀 (x,y)z에 대한 초점(focus) 값 F(x,y)z은 하기 <수학식 6>과 같이 계산될 수 있다.
Figure 112020138191920-pat00024
일 실시예에서, 텐서 분해(tensor decomposition)를 사용하여 추정된 깊이(depth) 값 D(x, y)은 z 방향으로 초점 측정 값을 최대화하여 하기 <수학식 7>과 같이 계산될 수 있다.
Figure 112020138191920-pat00025
도 2는 본 발명의 일 실시예에 따른 가변 초점 방식의 3D 텐서 기반 영상 획득 방법을 도시한 도면이다.
도 2를 참고하면, S201 단계는, 피사체에 대한 이미지 시퀀스를 획득하는 단계이다.
S203 단계는, 이미지 시퀀스에 대한 3D(3-dimension) 텐서 기반 표면 정보를 산출하는 단계이다. 일 실시예에서, 이미지 시퀀스로부터 3D 텐서 기반 표면 정보에 대한 돌출 값(saliency value)을 산출할 수 있다.
일 실시예에서, 이미지 시퀀스에 대한 3D 텐서 기반 포인트 정보, 커브 정보 및 표면 정보를 산출할 수 있다.
S205 단계는, 3D 텐서 기반 표면 정보를 이용하여 초점 값을 결정하는 단계이다. 일 실시예에서, 3D 텐서 기반 표면 정보를 이용하여 이미지 시퀀스의 각 픽셀에 대한 초점 값(focus value)을 결정할 수 있다.
일 실시예에서, 피사체의 형태(예: 구형, 원기둥형, 직육면체 등)에 따라 표면 정보뿐만 아니라, 포인트 정보 및 커브 정보를 이용하여 초점 값을 결정할 수 있다. 예를 들어, 피사체의 형태에 따라 3D 텐서 기반 표면 정보에 대한 돌출 값, 포인트 정보에 대한 돌출 값, 커브 정보에 대한 돌출 값을 이용하여 이미지 시퀀스의 각 픽셀에 대한 초점 값을 결정하고, 초점 값을 미리 결정된 방향으로 최대화하여 깊이 값을 결정할 수 있다.
일 실시예에서, 미리 결정된 방향은, 각 픽셀에 대한 2차원 좌표(x, y)에 대한 방향과 수직인 방향(z)을 포함할 수 있다.
다른 실시예에서, 초점 값을 포인트 정보, 커브 정보 및 표면 정보에 대해 각각 결정할 수 있으며, 이 경우, 포인트 정보에 대한 돌출 값, 커브 정보에 대한 돌출 값 및 표면 정보에 대한 돌출 값에 대하여, 서로 다른 방향으로 초점 값을 최대화하여 최종적인 깊이 값을 결정할 수 있다.
일 실시예에서, 영상 획득 장치(110) 또는 피사체가 이동함에 따라 이미지 시퀀스를 획득할 때, 영상 획득 장치(110) 또는 피사체에 진동이 발생하는 경우, 영상 획득 장치(110) 또는 피사체의 진동 정보를 산출하고, 산출된 진동 정보를 깊이 값에 가중치로 피드백하여 깊이 값을 보정할 수 있다. 이를 통해, 이미지 촬영 시 진동이 발생하더라도 보다 정확하게 3D 이미지를 구현할 수 있다.
S207 단계는, 초점 값에 기반하여 피사체에 대한 3D 이미지를 디스플레이하는 단계이다. 일 실시예에서, 초점 값을 이용하여 이미지 시퀀스의 각 픽셀에 대한 깊이 값(depth value)을 결정하고, 깊이 값에 기반하여 피사체에 대한 3D 이미지를 생성할 수 있다.
일 실시예에서, 이미지 시퀀스의 각 픽셀에 대한 초점 값을 미리 결정된 방향으로 최대화하여 깊이 값을 결정할 수 있다.
도 3a 내지 3e는 본 발명의 일 실시예에 따른 2D 및 3D 초점 측정 성능 비교 그래프를 도시한 도면이다.
도 3a 내지 3e를 참고하면, 본 발명에 따른 초점 측정의 효과는 시뮬레이션된 개체와 실제 개체의 이미지 시퀀스를 사용하여 실험을 수행하여 평가될 수 있다.
예를 들어, 제곱 평균 오차(root mean square error, RMSE), 상관 관계(correlation, C2), 피크 신호 대 잡음비(peak signal-to-noise ratio, PSNR) 및 구조적 유사성 지수 측정(structural similarity index measure, SSIM)과 같은 품질 측정이 사용될 수 있다.
이 경우, ML이라 지칭되는 이미지 라플라시안(image Laplacian)의 에너지, SML이라 지칭되는 스몰 윈도우(small window) 내 이미지 라플라시안의 에너지 합, 이미지 통계 기반의 초점 측정 그레이 레벨 분산(gray-level variance, GLV), TEN(Tenenbaum) 초점 측정이라는 이미지 그라디언트의 에너지와 같은 종래의 기법을 4개의 초점 측정 연산자로 사용될 수 있다.
기존 방법(ML, SML, GLV, TEN)과 본 발명에 따른 ST 기반 방법의 2D 및 3D 사례 결과의 비교는 하기 <표 2>와 같이 나타낼 수 있다.
Dimension FM RMSE C2 PSNR SSIM
2D ML 8.2141 0.9202 29.8396 0.8449
SML 7.7416 0.9379 30.3542 0.9344
GLV 7.7846 0.9350 30.3061 0.8996
TEN 8.2642 0.9132 29.7868 0.8408
3D ML 7.9496 0.9264 30.1239 0.8590
SML 7.5768 0.9454 30.5410 0.9594
GLV 7.6769 0.9380 30.4271 0.9139
TEN 8.1513 0.9157 29.9062 0.8442
ST 7.4581 0.9538 30.6783 0.9812
상기 <표 2>에서 본 발명에 따른 초점 측정이 다른 모든 종래의 2D 및 3D 초점 측정에 대해 RMSE, C2, PSNR 및 SSIM과 같은 정량 측정에 대해 더 정확한 값을 제공했음을 확인할 수 있다. 또한, 3D 초점 측정 중 본 발명에 따른 초점 측정은 정확한 깊이 추정에서 더 나은 성능을 보임을 확인할 수 있다.
기존 방법(ML, SML, GLV, TEN)과 본 발명에 따른 ST 기반 방법을 사용하여 얻은 깊이 맵(Depth map)을 확인할 수 있다. 본 발명에 따른 ST 기반 방법을 사용하여 재구성한 3D 형상은 정확하고, 종래의 ML과 TEN을 사용하여 재구성된 형상은 초점 측정 계산의 부정확성으로 인해 스파이크가 있음을 알 수 있다.
도 4는 본 발명의 일 실시예에 따른 RMSE 성능 비교 그래프를 도시한 도면이다.
도 4를 참고하면, 소음 환경에서 본 발명에 따른 초점 측정의 성능을 평가하기 위해 시뮬레이션된 이미지 시퀀스에 다양한 유형의 노이즈를 추가하여 성능평가가 수행될 수 있다.
일 실시예에서, 이미지 시퀀스는 평균이 0이고 분산이 0.005 인 가우스 노이즈로 손상될 수 있다.
기존 방법(ML, SML, GLV, TEN)과 본 발명에 따른 ST 기반 방법에 대한 노이즈 이미지 시퀀스에서 얻은 결과를 2D 및 3D 사례에 대해 비교한 내용은 하기 <표 3>과 같이 나타낼 수 있다. 즉, 결과로부터 본 발명에 따른 ST 기반 방법이 종래의 방법보다 더 나은 성과를 나타냄을 확인할 수 있다.
본 발명에 따른 ST 기반 방법은 노이즈에 대해 상당한 저항을 보였지만 ML 초점 측정은 다른 초점 측정에 비해 성능이 떨어짐을 확인할 수 있다.
Dimension FM RMSE C2 PSNR SSIM
2D ML 27.2413 0.1456 19.4262 0.1028
SML 14.3911 0.5918 24.9689 0.6142
GLV 10.9144 0.7616 27.3708 0.6294
TEN 14.1176 0.6051 25.1356 0.3726
3D ML 25.2717 0.2027 20.0781 0.1210
SML 16.0849 0.5166 24.0024 0.4528
GLV 9.4875 0.8383 28.5878 0.7407
TEN 13.2064 0.6477 25.7151 0.4230
ST 7.4862 0.9526 30.6456 0.9799
본 발명에 따른 초점 측정의 견고성은 노이즈 및 노이즈 없는 이미지 시퀀스에 대한 RMSE를 비교하여 시각화할 수 있다. ML 및 SML 초점 측정은 TEN 및 GLV 초점 측정에 비해 노이즈에 더 민감하다는 것을 알 수 있다. 본 발명에 따르면, 소음에 대한 강도를 보여주는 두 경우 모두 거의 동일한 결과를 제공함을 확인할 수 있다.
일 실시예에서, 노이즈 밀도가 0.1인 쏠트 앤 페퍼 노이즈(salt-and-pepper noise)로 손상된 이미지 시퀀스를 사용하여 결과를 계산할 수 있다.
기존 방법(ML, SML, GLV, TEN)과 제안된 ST 기반 방법에 대해 2D 및 3D 사례에 대해 노이즈 이미지 시퀀스에서 얻은 결과를 비교한 내용은 하기 <표 4>와 같이 나타낼 수 있다.
<표 4>에서 본 발명에 따른 ST 초점 측정은 ML이 저조한 성능을 발휘하는 동안 노이즈에 대해 상당한 저항을 나타냄을 알 수 있습니다. 또한, 본 발명에 따른 ST 초점 측정은 노이즈가 있는 경우와 없는 경우의 차이가 가장 낮아 견고함을 확인할 수 있다.
기존의 방법(ML, SML, GLV, TEN)과 본 발명에 따른 ST 초점 측정을 사용하여 얻은 깊이 맵을 확인할 수 있다. 즉, 본 발명에 따른 ST 초점 측정이 최상의 3D 형상을 제공하며, 노이즈에 대한 강점을 보여줌을 확인할 수 있다.
Dimension FM RMSE C2 PSNR SSIM
2D ML 10.9785 0.7570 27.3200 0.5763
SML 7.5252 0.9497 30.6004 0.9705
GLV 7.5710 0.9468 30.5477 0.9592
TEN 10.1115 0.8036 28.0345 0.6604
3D ML 10.9882 0.7568 27.3123 0.5805
SML 7.5274 0.9497 30.5979 0.9696
GLV 7.5544 0.9477 30.5668 0.9629
TEN 10.0569 0.8068 28.0815 0.6688
ST 7.4924 0.9518 30.6384 0.9775
도 5a 내지 5e는 본 발명의 일 실시예에 따른 이미지 생성 성능 비교 그래프를 도시한 도면이다.
도 5a 내지 5e를 참고하면, 본 발명에 따른 방법의 성능은 실제 물체 그루브(groove)의 이미지 시퀀스를 사용하여 평가될 수 있다. 기존 방법(ML, SML, GLV, TEN)과 본 발명에 따른 ST 기반 방법에서 얻은 깊이 맵을 확인할 수 있다.
본 발명에 따른 ST 기반 방법이 종래의 다른 방법에 비해보다 정확한 3D 형상을 제공함을 알 수 있다.
도 5e의 (a)와 (b)를 참고하면, 각각 3D GLV 및 ST 방법을 사용하여 재구성의 단면을 확인할 수 있다. 본 발명에 따른 ST 방법은 정확한 깊이를 제공하는 반면, 3D GLV 기반 깊이는 스파이크로 볼 수 있는 부정확성을 가지고 있음을 알 수 있다.
즉, 본 발명에 따른 초점 측정이 더 나은 성과를 보이며, 이는, 로컬 이미지 볼륨의 변형 또는 고주파 콘텐츠를 활용하기 때문일 수 있다.
수학적으로 고유 값의 합이 로컬 이미지 볼륨의 총 분산과 같으므로 본 발명에 따른 초점 측정은 분산을 추가로 활용할 수 있다. 즉, 제안된 측정 값이 분산의 변동을 계산한다는 결론을 내릴 수 있다.
본 발명에 따르면, 3D ST 분석을 기반으로 정확한 깊이 맵 추정을 위한 새로운 초점 측정이 사용될 수 있다. 3D ST의 표면 요소(surfaceness element)는 선명도의 품질을 측정하는데 사용될 수 있다.
도 6은 본 발명의 일 실시예에 따른 가변 초점 방식의 3D 텐서 기반 영상 획득 장치(110)의 기능적 구성을 도시한 도면이다.
도 6을 참고하면, 영상 획득 장치(110)는 촬영부(610), 제어부(620) 및 표시부(630)를 포함할 수 있다.
촬영부(610)는 피사체에 대한 이미지 시퀀스를 획득할 수 있다. 일 실시예에서, 촬영부(610)는 광학 현미경 또는 카메라로 구현될 수 있다. 예를 들어, 촬영부(610)는 카메라와 렌즈를 포함할 수 있다.
제어부(620)는 이미지 시퀀스에 대한 3D 텐서 기반 표면 정보를 산출하고, 3D 텐서 기반 표면 정보를 이용하여 초점 값을 결정할 수 있다.
일 실시예에서, 제어부(620)는 적어도 하나의 프로세서 또는 마이크로(micro) 프로세서를 포함하거나, 또는, 프로세서의 일부일 수 있다. 또한, 제어부(620)는 CP(communication processor)라 지칭될 수 있다. 제어부(620)는 본 발명의 다양한 실시예에 따른 영상 획득 장치(110)의 동작을 제어할 수 있다.
표시부(630)는 초점 값에 기반하여 피사체에 대한 3D 이미지를 디스플레이할 수 있다.
일 실시예에서, 표시부(630)는 영상 획득 장치(110)에서 처리되는 정보를 나타낼 수 있다. 예를 들면, 표시부(630)는 액정 디스플레이(LCD; Liquid Crystal Display), 발광 다이오드(LED; Light Emitting Diode) 디스플레이, 유기 발광 다이오드(OLED; Organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; Micro Electro Mechanical Systems) 디스플레이 및 전자 종이(electronic paper) 디스플레이 중 적어도 어느 하나를 포함할 수 있다.
도 6을 참고하면, 영상 획득 장치(110)는 촬영부(610), 제어부(620) 및 표시부(630)를 포함할 수 있다. 본 발명의 다양한 실시 예들에서 영상 획득 장치(110)는 도 6에 설명된 구성들이 필수적인 것은 아니어서, 도 6에 설명된 구성들보다 많은 구성들을 가지거나, 또는 그보다 적은 구성들을 가지는 것으로 구현될 수 있다.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로, 통상의 기술자라면 본 발명의 본질적인 특성이 벗어나지 않는 범위에서 다양한 변경 및 수정이 가능할 것이다.
따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라, 설명하기 위한 것이고, 이러한 실시예들에 의하여 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 이해되어야 한다.
110: 영상 획득 장치
610: 촬영부
620: 제어부
630: 표시부

Claims (10)

  1. 피사체의 기준면을 이동시키며 상기 피사체를 촬영하여 상기 피사체에 대한 이미지 시퀀스를 획득하는 단계;
    상기 이동에 따라 획득된 상기 이미지 시퀀스로부터 상기 이미지 시퀀스에 대한 3D(3-dimension) 텐서를 계산하는 단계;
    상기 피사체의 형태에 따라 상기 이미지 시퀀스에 대한 3D 텐서 기반 표면 정보에 대한 돌출 값(saliency value), 포인트 정보에 대한 돌출 값 및 커브 정보에 대한 돌출 값을 산출하는 단계;
    상기 3D 텐서 기반 표면 정보에 대한 돌출 값, 포인트 정보에 대한 돌출 값 및 커브 정보에 대한 돌출 값을 이용하여 상기 이미지 시퀀스의 각 픽셀에 대한 초점 값을 결정하는 단계;
    상기 결정된 초점 값을 미리 결정된 방향으로 최대화하여 깊이 값(depth value)을 결정하는 단계; 및
    상기 최대화된 깊이 값에 기반하여 상기 피사체에 대한 3D 이미지를 디스플레이하는 단계;
    를 포함하는,
    가변 초점 방식의 3D 텐서 기반 영상 획득 방법.

  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 피사체의 기준면을 이동시키며 상기 피사체를 촬영하여 상기 피사체에 대한 이미지 시퀀스를 획득하는 촬영부; 및
    상기 이동에 따라 획득된 상기 이미지 시퀀스로부터 상기 이미지 시퀀스에 대한 3D(3-dimension) 텐서를 계산하고,
    상기 피사체의 형태에 따라 상기 이미지 시퀀스에 대한 3D(3-dimension) 텐서 기반 표면 정보에 대한 돌출 값(saliency value), 포인트 정보에 대한 돌출 값 및 커브 정보에 대한 돌출 값을 산출하고,
    상기 3D 텐서 기반 표면 정보에 대한 돌출 값, 포인트 정보에 대한 돌출 값 및 커브 정보에 대한 돌출 값을 이용하여 상기 이미지 시퀀스의 각 픽셀에 대한 초점 값을 결정하고,
    상기 결정된 초점 값을 미리 결정된 방향으로 최대화하여 깊이 값(depth value)을 결정하는 제어부; 및
    상기 최대화된 깊이 값에 기반하여 상기 피사체에 대한 3D 이미지를 디스플레이하는 표시부;
    를 포함하는,
    가변 초점 방식의 3D 텐서 기반 영상 획득 장치.

  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020200178689A 2020-12-18 2020-12-18 가변 초점 방식의 3d 텐서 기반 3차원 영상 획득 방법 및 장치 KR102479120B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200178689A KR102479120B1 (ko) 2020-12-18 2020-12-18 가변 초점 방식의 3d 텐서 기반 3차원 영상 획득 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200178689A KR102479120B1 (ko) 2020-12-18 2020-12-18 가변 초점 방식의 3d 텐서 기반 3차원 영상 획득 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220088050A KR20220088050A (ko) 2022-06-27
KR102479120B1 true KR102479120B1 (ko) 2022-12-16

Family

ID=82247027

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200178689A KR102479120B1 (ko) 2020-12-18 2020-12-18 가변 초점 방식의 3d 텐서 기반 3차원 영상 획득 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102479120B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130201187A1 (en) 2011-08-09 2013-08-08 Xiaofeng Tong Image-based multi-view 3d face generation
EP2801198B1 (en) * 2012-01-04 2023-10-11 InterDigital Madison Patent Holdings, SAS Processing 3d image sequences
CN113160282A (zh) * 2016-06-20 2021-07-23 康耐视公司 用于对运动的对象进行三维测量的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Muhammad T. Mahmood et al., "Shape from focus based on 3D structure tensor using optical microscopy", 2019.10.21. 1부.*

Also Published As

Publication number Publication date
KR20220088050A (ko) 2022-06-27

Similar Documents

Publication Publication Date Title
Jeon et al. Accurate depth map estimation from a lenslet light field camera
US8355564B2 (en) Corresponding point searching method and three-dimensional position measuring method
US8385630B2 (en) System and method of processing stereo images
Chen et al. Transforming a 3-d lidar point cloud into a 2-d dense depth map through a parameter self-adaptive framework
Paramanand et al. Depth from motion and optical blur with an unscented Kalman filter
KR100810326B1 (ko) 다해상도 3차원 모델 생성 방법
CN103473743B (zh) 一种获取图像深度信息的方法
CN111192235A (zh) 一种基于单目视觉模型和透视变换的图像测量方法
US11512946B2 (en) Method and system for automatic focusing for high-resolution structured light 3D imaging
CN113470002A (zh) 一种层析sar三维点云重建质量评价方法及装置
Kim et al. Cost-aware depth map estimation for lytro camera
Mahmood et al. Shape from focus based on 3d structure tensor using optical microscopy
KR101921608B1 (ko) 깊이 정보 생성 장치 및 방법
KR102479120B1 (ko) 가변 초점 방식의 3d 텐서 기반 3차원 영상 획득 방법 및 장치
Wang et al. Close-range photogrammetry for accurate deformation distribution measurement
KR102171203B1 (ko) 스테레오 영상의 정합 방법 및 이를 수행하는 장치
CN116630423A (zh) 一种基于orb特征的微小型机器人多目标双目定位方法及系统
CN109741389A (zh) 一种基于区域基匹配的局部立体匹配方法
KR20150119770A (ko) 카메라를 사용한 3차원 좌표 측정 장치 및 방법
Di Martino et al. One-shot 3D gradient field scanning
An et al. Shape from focus through Laplacian using 3D window
Yang et al. Error model for scene reconstruction from motion and stereo
Spies Analysing dynamic processes in range data sequences
Vianello et al. Depth images super-resolution: An iterative approach
Shi et al. Practical Method of Low-Light-Level Binocular Ranging Based on Triangulation and Error Correction

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant