KR102265248B1 - 3-d 이미징에 의해 장면의 오브젝트들의 구별 및 식별을 위한 방법 - Google Patents

3-d 이미징에 의해 장면의 오브젝트들의 구별 및 식별을 위한 방법 Download PDF

Info

Publication number
KR102265248B1
KR102265248B1 KR1020177019753A KR20177019753A KR102265248B1 KR 102265248 B1 KR102265248 B1 KR 102265248B1 KR 1020177019753 A KR1020177019753 A KR 1020177019753A KR 20177019753 A KR20177019753 A KR 20177019753A KR 102265248 B1 KR102265248 B1 KR 102265248B1
Authority
KR
South Korea
Prior art keywords
optimized
cloud
points
volume
intensity threshold
Prior art date
Application number
KR1020177019753A
Other languages
English (en)
Other versions
KR20170120095A (ko
Inventor
스테빤 베레슈
이옹 베레슈
장-밥티스뜨 벨레
제라르 베르쟁
Original Assignee
탈레스
유니버시테 드 로레인
시스피아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 탈레스, 유니버시테 드 로레인, 시스피아 filed Critical 탈레스
Publication of KR20170120095A publication Critical patent/KR20170120095A/ko
Application granted granted Critical
Publication of KR102265248B1 publication Critical patent/KR102265248B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 복합 장면 내의 오브젝트를 3D 이미징에 의해 구별하고 식별하는 방법에 관련된다.
본 방법은 다음의 단계들을 포함한다:
- 복합 장면의 3D 복셀 볼륨으로부터 오브젝트의 2D MIP 이미지들의 시퀀스를 생성하는 단계로서, 이 볼륨은 오퍼레이터에 의해, 투영 평면으로부터 MIP 타입의 반복적 프로세스, 및 각각의 반복시 오퍼레이터에 의해 결정된 강도 임계값을 이용하는 것에 의해 시각화되는, 이미지들의 시퀀스를 생성하는 단계,
- 이미지들의 시퀀스로부터, 이미지들의 시퀀스에 대응하는 감소된 볼륨의 좌표들을 자동으로 추출하는 단계,
- 반복들 동안 이용되는 강도 임계값들 중 하나의 강도 임계값을 선택하는 단계,
- 복합 장면의 3D 볼륨으로부터, 좌표들로부터, 그리고 선택된 강도 임계값으로부터, 오브젝트를 포함하는 감소된 3D 볼륨을 자동으로 추출하는 단계,
- 감소된 볼륨으로부터, 강도 임계값 최적화에 의해, 최적화된 강도 임계값 및 최적화된 복셀 볼륨을 자동으로 생성하는 단계로서, 컬러는 각각의 강도와 연관되는, 상기 최적화된 강도 임계값 및 최적화된 복셀 볼륨을 자동으로 생성하는 단계,
- 시각화에 의해 상기 오브젝트를 식별하는 단계.

Description

3-D 이미징에 의해 장면의 오브젝트들의 구별 및 식별을 위한 방법{METHOD FOR DISCRIMINATION AND IDENTIFICATION OF OBJECTS OF A SCENE BY 3-D IMAGING}
본 발명의 분야는 도 4 에 예시된 바와 같이 복합 장면에서 감추어질 수 있는 임의의 오브젝트들의 구별 및 식별의 분야이다. 이러한 오브젝트들은 서로 가려서 오브젝트들의 구별과 식별을 특히 어렵게 만든다.
상이한 유형의 3 차원 시각화가 존재한다. 일부 시각화는 깊이 이미지 또는 2.5 D 이미지를 제공한다. 이 기술은 모든 3 차원 복셀 ("볼륨 픽셀") 을 복구하는 것을 가능하게 하지 않으며, 이들은 2 개의 이미지들의 2 개의 포인트들 사이의 광학 또는 전자기 광선의 진행 차이의 최적화에 연결된 입체 기술에 기초하며; 오브젝트들이 이미징 시스템으로부터 짧은 거리에 위치한다면 이 진행의 차이를 계산할 수 있다. 따라서, 식별은 근거리로 제한된다.
일부 이미징 기법들은 장면에서 레이저 빔 또는 광 스캐닝을 요구하며, 일련의 측정들은 포인트들의 3D 클라우드들을 제공한다. 3 차원 정보를 획득하기 위해서는 여러 가지 시야각들을 갖는 수개의 스캔들이 필요하지만, 스캐닝 시스템을 포함하는 캐리어의 상대적 모션은 포인트 클라우드마다 왜곡을 일으키고, 재정렬은 해상도 및 식별을 복잡하게 하고 저하시킨다.
다수의 뷰들로부터 획득된 실루엣을 사용하는 소위 실루엣 기법들은 디테일이 없는 아우터 엔벨로프를 제공한다. 오브젝트들이 쉐도우 구역을 포함하거나 또는 오브젝트가 다른 오브젝트의 쉐도우에 위치되면, 엔벨로프의 큰 부분은 손실되고 따라서, 2 개의 오브젝트들의 식별 및 구별이 용이하지 않다.
스핀 이미지 (Spin Image) 유형 기법들은 데이터베이스를 필요로 하며 사전 지식없이 복합 장면에 숨겨진 오브젝트에는 적용될 수 없다.
등밀도 표면 재구성과 연관된 복셀 그룹화 기법들은 객체에 포함된 내부 정보를 제거하지만 오브젝트들의 외부 표면을 획득하는 것을 가능하게 한다.
지식 기반 최적화 및 약 신호들의 추출에 연결된 3 차원 재구성 기법들 및 문서 "Method for the three-dimensional synthetic reconstruction of objects exposed to an electromagnetic and/or elastic wave"에 제시된 그 예 (EP 2 929 421 또는 US 8 345 960) 는 데이터베이스들을 필요로 하며 가능한 최상의 3 차원 재구성을 생성하기 위해 이들이 최적화된다. 지식 기반들은 종종, 패싯들에 의해 모델링될 수 있는 외부의 3 차원 표면 집합들에 의해서만 오브젝트들을 표현한다. 투명한 구조체들 (윈도우 등) 은 빈약하게 고려되며, 이는 3D 로 오브젝트의 완전한 디스플레이를 크게 손상시킨다. 이들 기법들은 또한 지식 기반들의 이용가능성들에 의존한다.
MIP (Maximum Intensity Projection) 기법은 3 차원 데이터의 2D 시각화를 허용한다. 이 기법은 복셀을 투영 평면에 투영한다; 복셀은 부과된 강도 임계값을 갖는 관찰 지점에서 투영 평면을 만나는 광선에 의해 결정된다. 2D 결과들은 깊이와 거리에 대한 값을 획득하는 것이 불가능하다. 회전의 환상과 깊이의 개념을 생성하고 이에 따라 3D 렌더링을 강화하기 위해 연속적인 관찰 각도들에서 수개의 투영 평면들이 생성된다.
복셀 강도 렌더링 기법들은 노이즈성 3 차원 시각화를 허용하며, 이는 상이한 연속적인 관측된 장면들 간의 구별을 감소시킨다.
복셀의 데카르트 좌표 위치 결정에 의해 직접 얻어진 포인트들의 3D 클라우드들은 약한 구별만을 허용하고, 오류 알람들과 연관된 아티팩트들을 제공한다.
그 예가 문서 "Method for 3D reconstruction of an object of a scene"(US2013/0100131) 에 제시된 표면 완성 기법들은 외부 데이터베이스에 대한 리소스 없이도 불완전한 구역을 3 차원 표면 생성으로 채워서 오브젝트의 완전한 데이터의 세트를 획득하는 것을 가능하게 한다. 따라서, 이들은 표면의 불연속성 없이 오브젝트의 완전한 외부 표면을 제공하며; 투명 오브젝트 (예를 들어 윈도우) 뒤에 위치된 내부 데이터는 재구성되지 않고 식별 프로세스로부터 제거된다. 표면의 생성이 수학적으로 복잡할 수 있기 때문에 두 개의 가까운 오브젝트들을 구별하는 프로세스가 실현되기 더 어렵게 된다.
본 발명의 목적은 이러한 결함들을 완화하는 것이다.
보다 구체적으로, 본 발명의 대상은 복합 장면 내의 오브젝트를 3D 이미징에 의해 구별하고 식별하는 방법이다. 이는 다음과 같은 단계들을 포함하는 것을 특징으로 한다:
- 복합 장면의 3D 복셀 볼륨으로부터 오브젝트의 2D MIP 이미지들로 불리는 이미지들의 시퀀스를 생성하는 단계로서, 이 볼륨은 오퍼레이터에 의해, 투영 평면으로부터 MIP 타입의 반복적 프로세스, 및 각각의 반복시 오퍼레이터에 의해 결정된 강도 임계값을 이용하는 것에 의해 미리 정해지고 시각화되는, 이미지들의 시퀀스를 생성하는 단계,
- 2D MIP 이미지들의 시퀀스로부터, 2D MIP 이미지들의 시퀀스에 대응하는 감소된 볼륨의 좌표들을 자동으로 추출하는 단계,
- MIP 타입의 프로세스의 반복들 동안 이용되는 강도 임계값들 중 하나를 선택하는 단계,
- 복합 장면의 3D 복셀 볼륨으로부터, 좌표들로부터, 그리고 선택된 강도 임계값으로부터, 오브젝트를 포함하는 감소된 3D 복셀 볼륨을 자동으로 추출하는 단계,
- 감소된 볼륨으로부터, 강도 임계값 최적화에 의해, 최적화된 강도 임계값 및 최적화된 복셀 볼륨을 자동으로 생성하는 단계로서, 컬러는 각각의 강도와 연관되는, 상기 최적화된 강도 임계값 및 최적화된 복셀 볼륨을 자동으로 생성하는 단계,
- 시각화에 의해 상기 오브젝트를 식별하는 단계.
본 방법은 선택적으로, 감소된 3D 복셀 볼륨 및/또는 최적화된 복셀 볼륨의 시각화 단계를 포함한다.
본 발명의 특징에 따르면, 본 방법은 2D MIP 이미지들의 시퀀스로부터, 좌표들로부터, 그리고 선택된 강도 임계값으로부터, 오브젝트의 포인트들의 3D 클라우드 (8) 를 생성하는 단계를 더 포함한다.
본 발명의 또 다른 특징에 따르면, 본 방법은 다음 단계들을 더 포함한다:
- 복합 장면의 3D 볼륨으로부터, 그리고 선택된 강도 임계값으로부터, 복합 장면의 포인트들의 미가공 3D 클라우드를 생성하는 단계,
- 최적화된 3D 볼륨으로부터, 그리고 최적화된 강도 임계값으로부터, 오브젝트의 포인트들의 최적화된 3D 클라우드를 생성하는 단계,
- 장면의 포인트들의 미가공 3D 클라우드의, 오브젝트의 포인트들의 최적화된 3D 클라우드의, 그리고 가능하게는 오브젝트의 포인트들의 3D 클라우드의 오버레이로부터, 복합 장면에 포함된 오브젝트의 포인트들의 최적화된 전역 3D 클라우드를 생성하는 단계,
- 최적화된 전역 3D 클라우드를 시각화하는 단계.
이들 클라우드들은 오퍼레이터에 의해 또한 시각화될 수 있다.
본 발명에 따른 방법은 오브젝트의 구별, 식별 및 가능하게는 위치 결정을 허용한다. 오브젝트의 디테일들의 정확도는 포인트들의 클라우드의 밀도화에 의해 가능하게 이루어지고 또한, 장면의 오브젝트의 식별을 개선하는 것을 가능하게 한다. 포인트들의 3 차원 클라우드들은 장면의 다른 오브젝트들을 분리 및 구별하고 장면의 다른 엘리먼트들에 의해 식별될 오브젝트를 구별하는 것을 가능하게 한다. 오브젝트와 연관된 포인트들의 클라우드들의 세트는 절대 데카르트 좌표 참조 프레임에서 위치결정되며 이는 오브젝트의 위치들과 오브젝트와 장면의 다른 엘리먼트들 사이의 상이한 거리들을 간단하게 계산하는 것을 가능하게 한다. 오브젝트는 자신의 동작 컨텍스트에서 대체된다.
제공된 솔루션은 각각의 기존 시각화 기법의 개별적인 단점들을 보완한다. 데이터가 암시적으로 존재하기 때문에 데이터 (특히 장면의 다른 엘리먼트들에 의해 마스크된 데이터) 를 완성할 필요가 없다.
본 발명의 다른 특징들 및 이점들은 첨부된 도면들을 참조로 비제한적인 예에 의해 주어지는 다음의 상세한 설명을 읽을 때 명백해질 것이다.
도 1 은 3D 재구성에 의해 획득된 상이한 복셀들에 대응하는 메싱을 갖는 3D 볼륨의 일 예를 개략적으로 나타낸다.
도 2 는 본 발명에 따른 방법의 상이한 단계들의 시퀀싱의 일 예를 나타낸다.
도 3 은 3D 재구성에 의해 획득되고 메싱하는 것 없이 복합 장면의 3D 복셀 볼륨의 3D 시각화의 일 예를 나타낸다.
도 4 는 복합 장면의 2D 이미지의 일 예를 나타낸다.
도 5 는 식별될 오브젝트의 2D MIP 이미지들의 시퀀스의 일 예를 나타낸다.
도 6 은 식별될 오브젝트의 감소된 3D 볼륨의 3D 시각화의 일 예를 나타낸다.
도 7 은 식별될 오브젝트의 최적화된 3D 볼륨의 3D 시각화의 일 예를 나타낸다.
도 8 은 식별될 오브젝트의 포인트들의 3D MIP 클라우드의 3D 시각화의 일 예를 나타낸다.
도 9 는 복합 장면의 미가공 3D 클라우드의 3D 시각화의 일 예를 나타낸다.
도 10 은 식별될 오브젝트의 포인트들의 최적화된 3D 클라우드의 3D 시각화의 일 예를 나타낸다.
도 11 은 오브젝트로서 차량 (도 11a), 또는 2 개의 차량들 (도 11b) 을 갖는 복합 장면에서의 오브젝트의 포인트들의 최적화된 전역 3D 클라우드의 3D 시각화를 나타낸다.
도면마다 동일한 엘리먼트들은 동일한 도면부호에 의해 식별된다.
본 발명에 따른 방법은 복합 장면의 3D 복셀 볼륨에 적용된다. 이에 따라 이 장면은 3D 이미징에 의해 3D 볼륨 (1) 으로 이전에 변환되었으며, 그 일 예가 도 1 에 도시되어 있다.
이 3 차원 볼륨은 투과에 의해 또는 형광에 의해 (광학 프로젝션 토모그래피, 뉴클리어 이미징 또는 X 선 컴퓨팅된 토모그래피) 또는 반사에 의해 (레이저 파의 반사에 의해 또는 가시 광선 대역의 경우 태양 반사 (0.4 ㎛ ∼ 0.7 ㎛ 사이) 에 의해 또는 근적외선 (0.7 ㎛ ∼ 1 ㎛ 또는 1 ㎛ ∼ 3 ㎛ 사이의 SWIR) 에 의해) 재구성 방법을 이용하여 또는 오브젝트의 열 방출 (3 ㎛ ∼ 5 ㎛ 의 서멀 이미징과 8 ㎛ ∼ 12 ㎛ 의 서멀 이미징) 을 고려하여 획득될 수 있고, 이 3 차원 재구성 프로세스는 특허 "Optronic system and method for creating three-dimensional identification images" (US 8,836,762, EP 2 333 481) 에 설명되어 있다.
3 차원 재구성으로부터 획득된 모든 복셀들은 연관된 강도로 사용되며, 이 재구성은 바람직하게는 반사에 의해 얻어진다.
본 발명에 따른 구별 및 식별 방법은 도 2 와 관련하여 설명된 다음의 단계들을 포함한다. 오브젝트는 장면의 하나 이상의 엘리먼트들을 나타내며: 오브젝트는 도 2 내지 도 11a 의 예에 도시된 바와 같은 차량, 도 11b 의 예에 도시된 바와 같은 2 개의 차량들, 또는 심지어 외륜과 같은 차량 엘리먼트일 수 있다.
다음 단계들 중에서, 일부는 온-스크린 시각화에서 오퍼레이터의 참여를 요구하며, 다른 것들은 자동으로 구현된다.
◈ A) (도 2 및 도 3 에서 복셀들의 메싱없이 표현되는) 복합 장면의 3D 복셀 볼륨 (1) 으로부터, MIP 기법은 오퍼레이터가 자신의 스크린에서, 예를 들어, (상이한 관찰 각도에 대응하는) 상이한 투영 평면들에 따라 그리고 오퍼레이터에 의해 시행 착오로 결정되는 강도 임계값에 따라 복합 장면에 대해 실시간으로 시각화하는데 사용되며, 그리고 그 일 예가 도 4 에 도시된 이들 상이한 시각화들 동안에 오퍼레이터가 자신이 구별 및/또는 식별하기 원하는 오브젝트를 포함한 분석될 볼륨을 대략적으로 분할하는데 사용된다. 이 반복적인 MIP 유형의 프로세스의 종료시, 식별될 객체의 2D MIP 이미지들 (2) 의 시퀀스가 생성되며, 이는 식별될 오브젝트를 포함하는 감소된 3D 볼륨에 시각적으로 대응하지만, 이 감소된 볼륨은 이 단계에서는 아직 결정되지 않는다. 이러한 3 개의 2D MIP 이미지들 (2) 의 시퀀스의 예가 도 2 및 도 5 에 도시되어 있다.
◈ B1) 이 2D MIP 이미지들 (2) 의 시퀀스로부터 식별될 오브젝트를 포함하는 이 감소된 볼륨의 좌표들 (3) 을 자동으로 추출한다.
◈ B2) 단계 A) 의 MIP 프로세스에서 사용되었던 강도 임계값들 (4) 중 하나를 결정한다; 이 임계값은 오퍼레이터에 의해 시행착오로 결정된다.
◈ C) 좌표들 (3) 및 강도 임계값 (4) 을 이용하는 것에 의해, 복합 장면의 3D 복셀 볼륨 (1) 으로부터, 식별될 오브젝트에 대응하는 복셀 볼륨 (5) 을 자동으로 추출한다 (즉, 이 감소된 3D 볼륨은 좌표들 (3) 에 따라 결정되고, 그 복셀들은 강도 임계값 (4) 에 따라 강도의 관점에서 임계화되며: 이는 단계 A 의 감소된 볼륨에 관련된다). 오퍼레이터는 도 2 및 도 6 에 도시된 바와 같이, 오퍼레이터가 원한다면 이 감소된 볼륨 (5) 을 시각화할 수 있고; 이 시각화하는 오브젝트를 식별하는 가능성을 사용자에게 제공할 수 있다.
◈ D) 강도 임계값 최적화의 프로세스에 의해 상기 복셀 볼륨 (5) 으로부터 다음의 것을 자동적으로 생성하되, 각각의 강도는 컬러와 연관된다:
- 최적화된 임계값 (7),
- 그 후, 이 최적화된 임계값을 사용하는 것에 의한, 식별될 오브젝트의 최적화된 3D 복셀 볼륨 (6).
오퍼레이터가 또한 도 2 및 도 7 에서 도시된 바와 같이 시각화 및 식별할 수 있는 감소된 볼륨은 임계화 후에 그에 따라 컬러에서 있는 그대로 얻어진다. 오리지널 3D 볼륨보다 시각적으로 훨씬 더 세밀하게 존재하는 3D 복셀 볼륨이 얻어진다.
이전 단계들 A 내지 C 동안, 오퍼레이터는 증가된 확률로, 오브젝트를 식별하는 가능성을 갖는다. 이 단계 D 의 종료시, 오퍼레이터는 오브젝트를 식별하는 최강의 확률을 실현한다.
식별될 오브젝트는 자체적으로 서브오브젝트들로 나누어질 수 있다. 차량의 서브오브젝트들은 예를 들어 휠, 트렁크 리드 등이다. 그 후, 이전 단계들이 각각의 서브오브젝트에 적용된다. 각각의 서브오브젝트마다, 2D MIP 이미지들 (2) 의 시퀀스, 감소된 3D 볼륨 좌표들 (3), 선택한 강도 임계값 (4), 감소된 3D 복셀 볼륨 (5), 최적화된 임계값 (7) 및 최적화된 3D 볼륨 (6) 이 얻어진다.
이 단계 D 의 종료시, 오브젝트가 오퍼레이터에게 관심이 있는 수개의 엘리먼트들 또는 서브오브젝트들을 포함할 때, 이들은 구별가능하게 된다.
다음 단계들이 식별될 오브젝트를 재위치시키고자 한다.
◈ E) 선택적으로, 도 2 및 도 8 에 도시된 바와 같이, 좌표들 (3) 및 강도 임계값 (4) 을 이용하여, 2D MIP 이미지들 (2) 의 시퀀스로부터, 오퍼레이터가 선택적으로 시각화할 수 있는 식별될 오브젝트의 포인트들의 3D 클라우드 (8) 를 자동으로 생성한다.
◈ F1) 도 2 및 도 9 에 도시된 바와 같이, 2D MIP 이미지들 (2) 의 시퀀스로부터, 그리고 강도 임계값 (4) 을 이용하여, 오퍼레이터가 선택적으로 시각화할 수 있는 식별될 오브젝트의 포인트를 포함하는 복합 장면의 포인트들의 미가공 3D 클라우드 (9) 를 자동으로 생성한다.
◈ F1) 도 2 및 도 10 에 도시된 바와 같이, 최적화된 3D 복셀 볼륨 (6) 으로부터, 그리고 강도 임계값 (7) 을 이용하여, 오퍼레이터가 선택적으로 시각화할 수 있는 식별될 오브젝트의 포인트들의 최적화된 3D 클라우드 (10) 를 자동으로 생성한다.
◈ G) 다음:
- 복합 장면의 포인트들의 미가공 3D 클라우드 (9),
- 오브젝트가 식별되게 허용하는 오브젝트의 디테일들의 레벨에서 고밀도를 나타내는 오브젝트의 포인트들의 최적화된 3D 클라우드 (10),
- 그리고 이것이 생성되었다면, 오브젝트의 포인트들의 3D 클라우드 (8)
를 오버레이하는 것에 의해 복합 장면에 포함된 오브젝트의 포인트들의 최적화된 전역 3D 클라우드 (11) 를 자동으로 생성한다. 이 클라우드는, 절대 좌표들을 고려하는 것에 의해 그 동작 컨텍스트에서 오브젝트를 위치결정하게 하고, 이를 구별하고, 오퍼레이터가 가장 강력한 확률로 이를 식별하는 것을 보조하는 것을 가능하게 한다. 실제로, 오퍼레이터는 그 일 예가 도 2 에, 그리고 차량을 표현한 오브젝트에 대한 도 11a 에, 또는 2 개의 차량들을 나타낸 오브젝트에 대한 도 11b 에 도시되어 있는 이 최적화된 전역 클라우드 (11) 를 시각화하며, 이는 동작 컨텍스트에서 오퍼레이터가 식별될 오브젝트를 시각화하는 것을 허용한다.
포인트들의 클라우드들의 여러 추출들은 아티팩트들 및 노이즈들이 감소되는 것을 허용한다.
오브젝트와 연관된 포인트들의 클라우드들의 세트는 절대 데카르트 좌표 참조 프레임에서 위치결정되며 이는 오브젝트의 위치들과 오브젝트와 장면의 다른 엘리먼트들 사이의 여러 거리들을 간단하게 계산하는 것을 가능하게 한다. 오브젝트는 자신의 동작 컨텍스트에서 대체된다.
서브오브젝트들이 식별될 때, 이들 재위치하는 단계들 각각은 각각의 서브오브젝트로부터 각각 획득된 클라우드들을 오버레이하는 것에 의해 적용된다.
오퍼레이터가 결과가 불만족스럽다고 고려할 때, 이들 단계들 A 내지 G 는 이들 디테일들의 최상의 가능한 밀도화를 획득하기 위하여 반복될 수 있다.
단계 G 의 단계에서, 오브젝트가 수개의 상호적으로 구별되는 엘리먼트들 또는 서브오브젝트들을 포함할 때, 이들은 이들의 콘텍스트들에서 대체되고 그리고 서로에 대한 이들의 위치결정이 데카르트 좌표들에서 측정될 수 있다.
이 방법에 의해, 관찰된 장면의 여러 엘리먼트들을 실시간으로 시각화하는 것이 특히 쉬워진다.
본 발명에 따르면 장면의 오브젝트들의 식별은 포인트들의 3 차원 클라우드의 밀도화의 관점에 의해 개선된다.
이 구별 및 식별 방법은 특히 정확한 식별 및 타겟들의 위치파악을 위한 보안 분야에 적용하며, 그리고 종양의 위치파악 및 식별을 위한 의료 분야에 적용한다.
본 발명은 하드웨어 및/또는 소프트웨어 엘리먼트들로부터 구현될 수 있다. 본 발명은 컴퓨터 판독가능 매체 상에서의 컴퓨터 프로그램 제품으로서 이용가능하며, 이 컴퓨터 프로그램은 구별 및 식별 방법의 단계들을 수행하는 것을 가능하게 하는 코드 명령들을 포함한다. 매체는 전자, 자기, 광학, 전자기일 수 있거나 또는 적외선 유형의 브로드캐스트 매체일 수 있다. 이러한 매체는 예를 들어, 반도체 메모리들 (랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 테이프들), 디스켓들 또는 자기 또는 광학 디스크들 (콤팩트 디스크 - 판독 전용 메모리 (CD-ROM), 콤팩트 디스크 - 읽기/쓰기 (CD-R/W) 및 DVD) 이다.
본 발명이 특정 실시형태들과 관련하여 설명되어 있지만, 이는 제한되는 것이 아니며, 본 발명은 설명 수단의 기술적 등가물 뿐만 아니라 그러한 등가물이 본 발명의 범위 내에 든다면 이들의 조합 모두를 포함하는 것이 명백하다.

Claims (9)

  1. 복합 장면에서 오브젝트를 3D 이미징에 의해 구별하고 식별하는 방법으로서,
    상기 방법은 다음의 단계들:
    - 상기 복합 장면의 3D 복셀 볼륨으로부터 상기 오브젝트의 2D MIP 이미지들 (2) 로 불리는 이미지들의 시퀀스를 생성하는 단계 (A) 로서, 이 3D 복셀 볼륨 (1) 은 오퍼레이터에 의해, 투영 평면으로부터 "최대 강도 투영 (Maximum Intensity Projection)" 타입의 반복 프로세스, 및 각각의 반복시 오퍼레이터에 의해 결정된 강도 임계값을 이용하는 것에 의해 미리 정해지고 시각화되는, 상기 이미지들의 시퀀스를 생성하는 단계 (A),
    - 상기 2D MIP 이미지들 (2) 의 시퀀스로부터, 상기 2D MIP 이미지들 (2) 의 시퀀스에 대응하는 감소된 볼륨의 좌표들 (3) 을 자동으로 추출하는 단계 (B1),
    - 상기 단계 (A) 의 반복들 동안 이용된 강도 임계값들 중 하나의 강도 임계값 (4) 을 선택하는 단계 (B2) 로서, 이 선택은 상기 오퍼레이터에 의해 행해지는, 상기 강도 임계값들 중 하나의 강도 임계값 (4) 을 선택하는 단계 (B2),
    - 상기 복합 장면의 3D 복셀 볼륨 (1) 으로부터, 상기 좌표들 (3) 로부터, 그리고 선택된 상기 강도 임계값 (4) 으로부터, 상기 오브젝트를 포함하는 감소된 3D 복셀 볼륨 (5) 을 자동으로 추출하는 단계 (C),
    - 상기 감소된 3D 복셀 볼륨 (5) 으로부터, 강도 임계값 최적화에 의해, 최적화된 강도 임계값 (7) 및 최적화된 3D 복셀 볼륨 (6) 을 자동으로 생성하는 단계 (D) 로서, 컬러는 각각의 강도와 연관되는, 상기 최적화된 강도 임계값 (7) 및 최적화된 3D 복셀 볼륨 (6) 을 자동으로 생성하는 단계 (D),
    - 상기 2D MIP 이미지들 (2) 의 시퀀스로부터, 상기 좌표들 (3) 로부터, 그리고 상기 선택된 강도 임계값 (4) 으로부터, 상기 오브젝트의 포인트들의 3D 클라우드 (8) 를 자동으로 생성하는 단계 (E),
    - 상기 복합 장면의 3D 복셀 볼륨 (1) 으로부터, 그리고 상기 선택된 강도 임계값 (4) 으로부터, 상기 복합 장면의 포인트들의 미가공 3D 클라우드 (9) 를 자동으로 생성하는 단계 (F1),
    - 상기 최적화된 3D 복셀 볼륨 (6) 으로부터, 그리고 상기 최적화된 강도 임계값 (7) 으로부터, 상기 오브젝트의 포인트들의 최적화된 3D 클라우드 (10) 를 자동으로 생성하는 단계 (F2),
    - 상기 복합 장면의 포인트들의 상기 미가공 3D 클라우드 (9), 상기 오브젝트의 포인트들의 상기 최적화된 3D 클라우드 (10), 및 상기 오브젝트의 포인트들의 3D 클라우드 (8) 의 오버레이로부터, 상기 복합 장면에 포함된 상기 오브젝트의 포인트들의 최적화된 전역 3D 클라우드 (11) 를 자동으로 생성하는 단계 (G),
    - 상기 최적화된 전역 3D 클라우드를 시각화하는 단계,
    - 시각화에 의해 상기 오브젝트를 식별하는 단계, 및
    - 상기 시각화가 만족스럽지 않은 경우, 상기 포인트들의 3D 클라우드들의 밀도화 (densification) 를 획득하기 위해 이전 단계들을 반복하는 단계
    를 포함하는 것을 특징으로 하는 복합 장면에서 오브젝트를 3D 이미징에 의해 구별하고 식별하는 방법.
  2. 제 1 항에 있어서,
    상기 방법은 상기 감소된 3D 복셀 볼륨 (5) 의 시각화의 단계를 포함하는 것을 특징으로 하는 복합 장면에서 오브젝트를 3D 이미징에 의해 구별하고 식별하는 방법.
  3. 제 1 항에 있어서,
    상기 방법은 상기 최적화된 3D 복셀 볼륨 (6) 의 시각화의 단계를 포함하는 것을 특징으로 하는 복합 장면에서 오브젝트를 3D 이미징에 의해 구별하고 식별하는 방법.
  4. 제 1 항에 있어서,
    상기 오브젝트의 포인트들의 상기 3D 클라우드 (8) 및/또는 상기 장면의 포인트들의 상기 미가공 3D 클라우드 (9) 및/또는 상기 오브젝트의 포인트들의 상기 최적화된 3D 클라우드 (10) 가 상기 오퍼레이터에 의해 디스플레이되는 것을 특징으로 하는 복합 장면에서 오브젝트를 3D 이미징에 의해 구별하고 식별하는 방법.
  5. 제 1 항에 있어서,
    상기 3D 복셀 볼륨 (1) 은 상기 복합 장면에 대한 가시광선 또는 IR 광학파의 반사에 의해 또는 상기 오브젝트로부터의 열 방출에 의해 획득되는 것을 특징으로 하는 복합 장면에서 오브젝트를 3D 이미징에 의해 구별하고 식별하는 방법.
  6. 기록 매체에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은, 상기 컴퓨터 프로그램이 컴퓨터 상에서 구동될 때 제 1 항 내지 제 5 항 중 어느 한 항에 기재된 방법의 단계들을 수행하는 것을 가능하게 하는 코드 명령들을 포함하는, 기록 매체에 저장된 컴퓨터 프로그램.
  7. 삭제
  8. 삭제
  9. 삭제
KR1020177019753A 2014-12-19 2015-12-17 3-d 이미징에 의해 장면의 오브젝트들의 구별 및 식별을 위한 방법 KR102265248B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1402929A FR3030847B1 (fr) 2014-12-19 2014-12-19 Procede de discrimination et d'identification par imagerie 3d d'objets d'une scene
FR1402929 2014-12-19
PCT/EP2015/080258 WO2016097168A1 (fr) 2014-12-19 2015-12-17 Procede de discrimination et d'identification par imagerie 3d d'objets d'une scene

Publications (2)

Publication Number Publication Date
KR20170120095A KR20170120095A (ko) 2017-10-30
KR102265248B1 true KR102265248B1 (ko) 2021-06-14

Family

ID=53059156

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177019753A KR102265248B1 (ko) 2014-12-19 2015-12-17 3-d 이미징에 의해 장면의 오브젝트들의 구별 및 식별을 위한 방법

Country Status (11)

Country Link
US (1) US10339698B2 (ko)
EP (1) EP3234914B1 (ko)
JP (1) JP6753853B2 (ko)
KR (1) KR102265248B1 (ko)
CA (1) CA2971256A1 (ko)
ES (1) ES2704077T3 (ko)
FR (1) FR3030847B1 (ko)
HK (1) HK1245975B (ko)
IL (1) IL252791B (ko)
SG (1) SG11201704754RA (ko)
WO (1) WO2016097168A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3088530B1 (fr) 2018-11-15 2020-12-04 Thales Sa Systeme d'imagerie 2d et 3d d'un desordre pigmentaire cutane
KR102264744B1 (ko) 2019-10-01 2021-06-14 씨제이올리브네트웍스 주식회사 영상 데이터를 처리하는 방법 및 이를 실행시키기 위한 명령어들이 저장된 컴퓨터 판독 가능한 기록 매체
FR3101988B1 (fr) * 2019-10-10 2021-10-22 Sispia Procede de reconnaissance d'objets a representativite augmentee
KR102533985B1 (ko) * 2021-05-21 2023-05-17 한국항공대학교산학협력단 포인트 클라우드 복원 시스템 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090129641A1 (en) * 2007-11-21 2009-05-21 Siemens Medical Solutions Usa, Inc. System and Method for Additive Spatial/Intensity Decomposition of Medical Images
US20100074532A1 (en) * 2006-11-21 2010-03-25 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
WO2014155715A1 (ja) * 2013-03-29 2014-10-02 株式会社日立製作所 物体認識装置および物体認識方法並びにプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2365062A1 (en) * 2001-12-14 2003-06-14 Cedara Software Corp. Fast review of scanned baggage, and visualization and extraction of 3d objects of interest from the scanned baggage 3d dataset
US7616794B2 (en) * 2004-01-26 2009-11-10 Siemens Medical Solutions Usa, Inc. System and method for automatic bone extraction from a medical image
US20070297560A1 (en) * 2006-03-03 2007-12-27 Telesecurity Sciences, Inc. Method and system for electronic unpacking of baggage and cargo
JP2008033522A (ja) * 2006-07-27 2008-02-14 Namco Bandai Games Inc プログラム、情報記憶媒体、及び画像生成システム
FR2929421B1 (fr) 2008-03-25 2012-04-27 Thales Sa Procede de reconstruction synthetique tridimensionnelle d'objets exposes a une onde electromagnetique et/ou elastique
FR2953313B1 (fr) 2009-11-27 2012-09-21 Thales Sa Systeme optronique et procede d'elaboration d'images en trois dimensions dedies a l'identification
FR2981772B1 (fr) 2011-10-21 2017-12-22 Thales Sa Procede de reconstruction 3d d'un objet d'une scene
US20140164989A1 (en) 2012-12-10 2014-06-12 Stefan KUHNE Displaying windows on a touchscreen device
US9547838B2 (en) * 2013-11-06 2017-01-17 Oracle International Corporation Automated generation of a three-dimensional space representation and planogram verification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100074532A1 (en) * 2006-11-21 2010-03-25 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
US20090129641A1 (en) * 2007-11-21 2009-05-21 Siemens Medical Solutions Usa, Inc. System and Method for Additive Spatial/Intensity Decomposition of Medical Images
WO2014155715A1 (ja) * 2013-03-29 2014-10-02 株式会社日立製作所 物体認識装置および物体認識方法並びにプログラム

Also Published As

Publication number Publication date
HK1245975B (zh) 2019-11-15
EP3234914A1 (fr) 2017-10-25
FR3030847B1 (fr) 2017-12-22
KR20170120095A (ko) 2017-10-30
JP6753853B2 (ja) 2020-09-09
EP3234914B1 (fr) 2018-10-10
US10339698B2 (en) 2019-07-02
ES2704077T3 (es) 2019-03-14
WO2016097168A1 (fr) 2016-06-23
US20170345204A1 (en) 2017-11-30
FR3030847A1 (fr) 2016-06-24
JP2018508850A (ja) 2018-03-29
IL252791B (en) 2021-04-29
CA2971256A1 (en) 2016-06-23
IL252791A0 (en) 2017-08-31
SG11201704754RA (en) 2017-07-28

Similar Documents

Publication Publication Date Title
EP3574473B1 (en) Apparatus, method, and system for alignment of 3d datasets
JP6017631B2 (ja) セキュリティーチェックctシステム及びその方法
Hu et al. Efficient tree modeling from airborne LiDAR point clouds
KR102265248B1 (ko) 3-d 이미징에 의해 장면의 오브젝트들의 구별 및 식별을 위한 방법
ES2706749T3 (es) Método para procesar datos de imagen que representan un volumen tridimensional
JP2013222361A (ja) 立体モデルデータ生成装置および方法並びにプログラム
JP4761670B2 (ja) 動立体モデル生成装置及び方法
EP3343507A1 (en) Producing a segmented image of a scene
EP2874124B1 (en) Method and apparatus for marking an object in a 3D image
CN104658034B (zh) Ct图像数据的融合绘制方法
Byeong-Ho A Review on Image and Video processing
CN107810518B (zh) 图像处理系统和方法
Tan et al. Design of 3D visualization system based on VTK utilizing marching cubes and ray casting algorithm
CN108876783B (zh) 图像融合方法及系统、医疗设备和图像融合终端
JP4082718B2 (ja) 画像認識方法および画像表示方法および画像認識装置
Karbasi et al. Analysis and enhancement of the denoising depth data using Kinect through iterative technique
Chandra Pati 3-D Surface Geometry and Reconstruction: Developing Concepts and Applications: Developing Concepts and Applications
Ruf et al. Towards real-time change detection in videos based on existing 3D models
Wang et al. A combined approach on RBC image segmentation through shape feature extraction
Zarean et al. Human body 3d reconstruction in multiview soccer scenes by depth optimization
JP2011149952A (ja) モデル入力装置およびモデル生成システム
Gavrilescu Efficient Exploration of 3D Medical Images Using Projected Isocontours
Ahmed Spatio-Temporally Coherent 3D Animation Reconstruction from Multi-view RGB-D Images using Landmark Sampling
Lee et al. Learning-Based Reflection-Aware Virtual Point Removal for Large-Scale 3D Point Clouds
Aslsabbaghpourhokmabadi Single-Shot Accurate 3D Reconstruction Using Structured Light Systems Based on Local Optimization

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant