KR101873983B1 - 구조물 정보 제공 장치 및 기록 매체 - Google Patents

구조물 정보 제공 장치 및 기록 매체 Download PDF

Info

Publication number
KR101873983B1
KR101873983B1 KR1020160145000A KR20160145000A KR101873983B1 KR 101873983 B1 KR101873983 B1 KR 101873983B1 KR 1020160145000 A KR1020160145000 A KR 1020160145000A KR 20160145000 A KR20160145000 A KR 20160145000A KR 101873983 B1 KR101873983 B1 KR 101873983B1
Authority
KR
South Korea
Prior art keywords
image
user input
display area
corner points
points
Prior art date
Application number
KR1020160145000A
Other languages
English (en)
Other versions
KR20180047996A (ko
Inventor
박정서
강태선
박인하
원석희
황인혁
Original Assignee
삼성중공업(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성중공업(주) filed Critical 삼성중공업(주)
Priority to KR1020160145000A priority Critical patent/KR101873983B1/ko
Publication of KR20180047996A publication Critical patent/KR20180047996A/ko
Application granted granted Critical
Publication of KR101873983B1 publication Critical patent/KR101873983B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

구조물 정보 제공 장치 및 기록 매체가 개시된다. 본 발명의 실시 예에 따른 구조물 정보 제공 장치는 구조물의 이미지를 표시 화면 내의 표시 영역에 표시하는 표시부; 및 구조물의 이미지가 표시되는 표시 영역 내에서 구조물의 모서리 점들에 대한 사용자 입력을 검출하고, 사용자 입력에 의해 검출된 모서리 점들의 이미지 좌표들을 이용하여, 구조물의 3차원 모델을 구조물의 이미지에 정합하는 정합부를 포함한다.

Description

구조물 정보 제공 장치 및 기록 매체{APPARATUS FOR PROVIDING STRUCTURE INFORMATION, AND RECORDING MEDIUM}
본 발명은 구조물 정보 제공 장치 및 기록 매체에 관한 것으로, 구조물의 실물 이미지에 구조물의 3차원 모델을 증강하는 구조물 정보 제공 장치 및 기록 매체에 관한 것이다.
선박이나 해양 플랜트와 같은 대형 구조물은 야드 내 여러 작업장에서 블록들을 제작한 뒤 이 블록들을 조립함으로써 건조된다. 블록 제작은 크게 블록에 사용되는 철판을 크기와 모양에 맞게 절단한 뒤, 용접으로 철판을 이어 붙여 블록의 외형을 형성하고, 그 다음으로 배관이나 전장과 같은 의장품을 설치하여 블록을 완성하는 공정으로 이루어진다. 최근 들어, 선박이나 해양 플랜트 작업의 효율성을 높이기 위해, 증강 현실 기술을 활용하여 블록에 3D 모델을 겹쳐 볼 수 있는 기술에 대한 연구가 진행 중에 있다. 증강 현실 구현의 정확도를 높이기 위하여, 에지 검출, 조도 필터링 등 다양한 기술의 적용이 시도되고 있으나, 정합의 정확도 및 정밀도 측면에서 사용자 요구를 만족시키기 어려운 상황이다.
본 발명은 표시 화면 내 구조물의 이미지가 표시되는 표시 영역에 대한 사용자 입력에 따라 구조물의 이미지에 구조물의 3차원 모델을 높은 정확도로 정합하여 증강현실을 구현할 수 있는 구조물 정보 제공 장치 및 기록 매체를 제공한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급된 과제로 제한되지 않는다. 언급되지 않은 다른 기술적 과제들은 이하의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따른 구조물 정보 제공 장치는 구조물의 이미지를 표시 화면 내의 표시 영역에 표시하는 표시부; 및 상기 구조물의 이미지가 표시되는 상기 표시 영역 내에서 상기 구조물의 모서리 점들에 대한 사용자 입력을 검출하고, 상기 사용자 입력에 의해 검출된 모서리 점들의 이미지 좌표들을 이용하여, 상기 구조물의 3차원 모델을 상기 구조물의 이미지에 정합하는 정합부를 포함한다.
상기 정합부는 3점 내지 5점의 상기 모서리 점들의 이미지 좌표들을 이용하여 상기 구조물의 3차원 모델을 상기 구조물의 이미지에 정합할 수 있다.
상기 정합부는, 상기 표시 영역 내 상기 구조물의 모서리 점들에 대한 사용자 입력을 검출하여 상기 모서리 점들의 이미지 좌표들을 획득하는 사용자입력 검출부; 상기 구조물의 블록 정보에 부합하는 다수의 후보 외판들에 대해 3차원 형상 모델을 추출하는 후보외판모델 추출부; 상기 다수의 후보 외판들 중 상기 모서리 점들의 이미지 좌표들과 상기 3차원 형상 모델의 프로젝션 이미지 간의 오차가 가장 작은 외판을 결정하는 외판 결정부; 및 상기 오차가 가장 작은 외판의 3차원 모델의 프로젝션 이미지를 상기 구조물의 이미지에 정합 처리하는 정합 처리부를 포함할 수 있다.
상기 사용자입력 검출부는 상기 표시 영역 내 상기 구조물의 적어도 하나의 의장 특징점에 대한 사용자 입력을 더 검출하여 상기 의장 특징점의 이미지 좌표를 획득하고, 상기 외판 결정부는 상기 다수의 후보 외판들 중 상기 모서리 점들 및 상기 의장 특징점의 이미지 좌표들과 상기 3차원 형상 모델의 프로젝션 이미지 간의 오차가 가장 작은 외판을 결정할 수 있다.
본 발명의 다른 측면에 따르면, 구조물의 이미지를 표시 화면 내의 표시 영역에 표시하는 단계; 및 상기 구조물의 이미지가 표시되는 상기 표시 영역 내에서 상기 구조물의 모서리 점들에 대한 사용자 입력을 검출하고, 검출된 상기 모서리 점들의 이미지 좌표들을 이용하여 상기 구조물의 3차원 모델을 상기 구조물의 이미지에 정합하는 단계를 실행하는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.
상기 정합하는 단계는, 상기 표시 영역 내 상기 구조물의 모서리 점들에 대한 사용자 입력을 검출하여 상기 모서리 점들의 이미지 좌표들을 획득하는 단계; 상기 구조물의 블록 정보에 부합하는 다수의 후보 외판들에 대해 3차원 형상 모델을 추출하는 단계; 상기 다수의 후보 외판들 중 상기 모서리 점들의 이미지 좌표들과 상기 3차원 형상 모델의 프로젝션 이미지 간의 오차가 가장 작은 외판을 결정하는 단계; 및 상기 오차가 가장 작은 외판의 3차원 모델의 프로젝션 이미지를 상기 구조물의 이미지에 정합 처리하는 단계를 포함할 수 있다.
상기 정합하는 단계는, 상기 표시 영역 내 상기 구조물의 적어도 하나의 의장 특징점에 대한 사용자 입력을 검출하여 상기 의장 특징점의 이미지 좌표를 획득하는 단계를 더 포함하고, 상기 오차가 가장 작은 외판을 결정하는 단계는, 상기 다수의 후보 외판들 중 상기 모서리 점들 및 상기 의장 특징점의 이미지 좌표들과 상기 3차원 형상 모델의 프로젝션 이미지 간의 오차가 가장 작은 외판을 결정할 수 있다.
본 발명의 실시 예에 의하면, 표시 화면 내 구조물의 이미지가 표시되는 표시 영역에 대한 사용자 입력에 따라 구조물의 이미지에 구조물의 3차원 모델을 높은 정확도로 정합하여 증강현실을 구현할 수 있는 구조물 정보 제공 장치 및 기록 매체가 제공된다.
본 발명의 효과는 상술한 효과들로 제한되지 않는다. 언급되지 않은 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 구조물 정보 제공 장치(100)의 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 구조물 정보 제공 장치를 구성하는 정합부(160)의 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 구조물 정보 제공 장치를 구성하는 표시부(130)를 보여주는 도면이다.
도 4 및 도 5는 본 발명의 일 실시 예에 따른 구조물 정보 제공 장치의 기능을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 구조물 정보 제공 장치를 구성하는 외판 결정부에 대해 설명하기 위한 개념도이다.
도 7은 본 발명의 다른 실시 예에 따른 구조물 정보 제공 장치를 구성하는 표시부를 보여주는 도면이다.
도 8은 도 7에 도시된 구조물 정보 제공 장치의 외판 결정 방법에 대해 설명하기 위한 개념도이다.
본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술하는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되지 않으며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 갖는다. 공지된 구성에 대한 일반적인 설명은 본 발명의 요지를 흐리지 않기 위해 생략될 수 있다. 본 발명의 도면에서 동일하거나 상응하는 구성에 대하여는 가급적 동일한 도면부호가 사용된다. 본 발명의 이해를 돕기 위하여, 도면에서 일부 구성은 다소 과장되거나 축소되어 도시될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다", "가지다" 또는 "구비하다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서 전체에서 사용되는 '~부'는 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부'가 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함할 수 있다. 구성요소와 '~부'에서 제공하는 기능은 복수의 구성요소 및 '~부'들에 의해 분리되어 수행될 수도 있고, 다른 추가적인 구성요소와 통합될 수도 있다.
본 발명의 실시 예에 따른 구조물 정보 제공 장치는 구조물(예를 들어, 블록의 외판)의 이미지를 표시 화면 내의 표시 영역에 표시하며, 구조물의 이미지가 표시되는 표시 영역 내에서 구조물의 모서리 점들에 대한 사용자 입력을 검출하고, 사용자 입력에 의해 검출된 모서리 점들의 이미지 좌표들을 이용하여 구조물의 3차원 모델을 구조물의 이미지에 정합한다.
본 발명의 실시 예에 의하면, 표시 화면 내의 표시 영역에 표시되는 구조물의 이미지에서 구조물의 모서리 점들을 선택할 수 있는 인터페이스가 사용자에게 제공되고, 사용자에 의해 선택된 모서리 점들의 이미지 좌표들을 이용하여 구조물의 3차원 모델을 구조물의 이미지에 높은 정확도로 정합하여 작업에 도움을 줄 수 있는 증강현실을 구현할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 구조물 정보 제공 장치(100)의 구성도이다. 본 발명의 실시 예에 따른 구조물 정보 제공 장치(100)는 데스크탑 컴퓨터나 노트북 또는 이동식 단말기(예를 들어, 태블릿, 스마트폰) 등으로 제공될 수 있다. 본 실시 예에 따른 구조물 정보 제공 장치(100)는 구조물의 이미지에 구조물의 3차원 모델을 정합하여 증강 현실을 구현하고, 이를 사용자(예를 들어, 작업자나 관리자 등)에게 제공할 수 있다.
도 1을 참조하면, 본 실시 예에 따른 구조물 정보 제공 장치(100)는 이미지 획득부(110), 사용자 인터페이스부(120), 표시부(130), 저장부(140), 통신부(150), 정합부(160) 및 제어부(170)를 포함할 수 있다.
구조물 정보 제공 장치(100)는 통신부(150)에 의해 유/무선 네트워크를 통해 하나 이상의 서버(도시생략)와 연결될 수 있다. 서버는 예컨대, 블록의 외판, 블록에 설치될 의장품들에 대한 3차원 모델을 저장 및 관리하는 서버로 제공될 수 있다.
이미지 획득부(110)는 구조물에 대한 이미지를 획득한다. 이미지 획득부(110)는 예컨대, 구조물을 촬영하여 2차원 또는 스테레오 이미지를 생성하는 카메라로 제공될 수 있다. 이미지 획득부(110)는 CCD(Charge Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 카메라 등의 이미지 센서로 제공될 수 있으나, 이에 한정되지는 않는다.
사용자 인터페이스부(120)는 사용자가 구조물의 이미지나, 구조물의 이미지에 3차원 모델을 증강시킨 정보 등을 표시부(130)를 통해 확인하기 위한 각종 명령을 입력할 수 있도록 제공될 수 있다. 사용자 인터페이스부(120)는 일 예로, 키보드, 마우스, 터치 패드, 터치 패널 등으로 제공될 수 있으나, 이에 한정되는 것은 아니다.
표시부(130)는 구조물의 이미지, 구조물의 이미지에 3차원 모델을 증강시킨 정보 등을 표시 화면 내의 표시 영역에 표시한다. 표시부(150)는 예를 들어, 액정표시장치(LCD; Liquid Crystal Display), 플라즈마표시패널(PDP; Plasma Display Panel) 등으로 제공될 수 있으나, 이에 한정되는 것은 아니다.
저장부(140)는 이미지 획득부(110)에 의해 획득된 구조물의 이미지, 구조물의 3차원 모델, 표시부(130)에 구조물의 이미지와 3차원 모델이 정합된 증강 이미지 등의 각종 정보를 표시하여 사용자에게 구조물에 관한 정보를 제공하는 단계들을 실행시키는 프로그램 등의 정보를 저장할 수 있다. 저장부(140)는 일 예로 HDD, SSD 등의 대용량 저장 장치나, RAM, ROM, 레지스터, 캐쉬 등 각종 저장 장치를 포함할 수 있다. 구조물의 3차원 모델은 별도의 서버에 마련된 저장부에 저장될 수도 있다.
정합부(160)는 이미지 획득부(110)에 의해 획득된 구조물의 이미지에 구조물의 3차원 모델을 정합하여 증강 현실을 구현한다. 정합부(160)는 구조물의 이미지가 표시되는 표시 영역 내에서 구조물의 모서리 점들에 대한 사용자 입력을 검출하고, 사용자 입력에 의해 검출된 모서리 점들의 이미지 좌표들을 이용하여 구조물의 3차원 모델을 구조물의 이미지에 정합한다. 정합부(160)는 3점 내지 5점의 모서리 점들의 이미지 좌표들을 이용하여 구조물의 3차원 모델을 구조물의 이미지에 정합할 수 있다.
제어부(170)는 구조물 이미지와 3차원 모델의 정합 및 표시 기능을 수행하며, 적어도 하나의 프로세서(processor)에 의해 각 구성 및 정합/표시 작업들을 제어할 수 있다. 프로세서는 예를 들어, 중앙처리부(CPU; Central Processing Unit), 그래픽처리부(GPU; Graphic Processing Unit) 등으로 제공될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 구조물 정보 제공 장치를 구성하는 정합부(160)의 구성도이다. 도 3은 본 발명의 일 실시 예에 따른 구조물 정보 제공 장치를 구성하는 표시부(130)를 보여주는 도면이다. 도 1 내지 도 3을 참조하면, 정합부(160)는 사용자입력 검출부(162), 후보외판모델 추출부(164), 외판 결정부(166) 및 정합 처리부(168)를 포함할 수 있다.
표시부(130)는 표시 화면(132) 내에 구조물의 이미지(IM1)와, 구조물의 이미지(IM1)에 구조물의 3차원 모델을 정합시킨 정보 등을 표시하도록 제공될 수 있다. 일 실시 예로, 표시 화면(132)의 제1 표시 영역(134)에는 구조물의 이미지(IM1)가 표시되고, 표시 화면(132)의 제2 표시 영역(136)에는 구조물의 이미지(IM1)에 구조물의 3차원 모델(3차원 형상 설계 모델)을 정합한 정보가 표시될 수 있다. 도시된 표시 화면(132) 내의 표시 영역들(134, 136)의 배열은 예시적인 것으로, 다른 배치 구조를 갖도록 변경될 수도 있다.
또한 표시부(130)에는 표시 영역들(134,136)에 표시되는 구조물의 정보, 예를 들어, 블록의 이름이나 코드 등을 입력하거나 선택할 수 있도록 제공되는 블록 선택 항목(1624)과, 사용자가 표시부(130)의 인터페이스를 제1 표시 영역(134) 내에서 구조물의 모서리 점들을 선택할 수 있는 모드로 전환하기 위해 제공되는 모서리 선택 항목(1622), 사용자 입력에 의해 제1 표시 영역 내 구조물의 모서리 점들이 선택된 후 구조물의 이미지에 3차원 모델을 정합하는 명령을 입력할 수 있도록 제공되는 3D 정합 항목(1626), 사용자 입력에 의해 선택된 구조물의 모서리 점들의 이미지 좌표를 표시하기 위해 제공되는 좌표 표시 항목(138) 등이 마련될 수 있다.
도 4 및 도 5는 본 발명의 일 실시 예에 따른 구조물 정보 제공 장치의 기능을 설명하기 위한 도면이다. 도 1, 도 2 및 도 4를 참조하면, 제1 표시 영역(134)에 구조물의 이미지(IM1)가 표시되어 있는 상태에서, 사용자가 사용자 인터페이스부(120)를 이용하여 블록 선택 항목(1624)에서 블록의 정보를 입력하고, 모서리 선택 항목(1622)을 클릭하면, 사용자입력 검출부(162)는 제1 표시 영역(134) 내 구조물의 모서리 점들(TP1 ~ TP4)에 대한 사용자 입력을 검출하고, 모서리 점들(TP1 ~ TP4)의 이미지 좌표들을 획득한다.
일 실시 예로, 사용자가 사용자 인터페이스부(120)를 이용하여 제1 표시 영역(134) 내 구조물의 모서리 점들(TP1 ~ TP4)에 순차적으로 커서(C)를 위치시킨 후 선택(예를 들어, 좌클릭, 우클릭, 더블클릭 또는 엔터키 입력 등)하면, 사용자에 의해 입력된 모서리 점들(TP1 ~ TP4) 상에 사용자 입력 지점을 나타내는 부호들이 표시될 수 있다. 사용자는 사용자 입력에 따라 제1 표시 영역(134)에 표시되는 부호들을 클릭한 후 드래그하는 등의 방법에 의해 사용자 입력 지점을 변경하거나, 부호들을 클릭하여 사용자 입력을 해제한 후 새로운 모서리 점을 선택할 수도 있다.
사용자가 사용자 인터페이스부(120)를 이용하여 구조물의 이미지(IM1)가 표시되는 제1 표시 영역(134)에서 구조물의 모서리 점들(TP1 ~ TP4)을 선택한 후, 3D 정합 항목(1626)을 입력하면, 도 5에 도시된 바와 같이 구조물의 이미지(IM1)에 구조물의 3차원 모델(MD1)이 합성된 증강 이미지가 생성되어 제2 표시 영역(136)에 표시된다.
도 2 및 도 5를 참조하면, 후보외판모델 추출부(164)는 구조물의 블록 정보에 부합하는 다수의 후보 외판들에 대해 3차원 형상 모델을 추출한다. 선박이나 해양구조물 작업시 블록의 외판에 의장품들을 설치하게 되며, 블록의 외판들의 개수는 한정되어 있다. 따라서 블록 정보에 따라, 해당 블록을 이루는 외판들에 대한 3차원 형상 모델들을 추출할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 구조물 정보 제공 장치를 구성하는 외판 결정부에 대해 설명하기 위한 개념도이다. 도 2 및 도 6을 참조하면, 구조물의 블록 정보에 부합하는 후보 외판들의 3차원 형상 모델들이 추출되면, 외판 결정부(166)는 다수의 후보 외판들 중 사용자입력 검출부(162)에 의해 인식된 구조물의 모서리 점들(TP1 ~ TP4)의 이미지 좌표들과, 3차원 형상 모델들의 프로젝션 이미지들의 모서리 대응점들(ME1 ~ ME4) 간의 오차들을 산출한 후, 가장 작은 오차를 갖는 외판을 결정한다. 일 실시 예로, 오차는 사용자 입력에 의해 검출된 구조물의 모서리 점들(TP1 ~ TP4)과, 프로젝션된 3차원 형상 모델의 모서리 대응점들(ME1 ~ ME4) 간의 오차들(E1 ~ E4)의 합에 근거하여 산출될 수 있다.
정합 처리부(168)는 오차가 가장 작은 외판의 3차원 모델의 프로젝션 이미지를 구조물의 이미지(IM1)에 정합 처리할 수 있다. 정합부(160)에 의해 구조물의 이미지(IM1)에 3차원 모델(MD1)이 합성된 정보는 제2 표시 영역(136)에 표시되도록 제어될 수 있다.
상술한 과정에 의해 구조물의 이미지에 구조물의 3D 모델이 오버랩되는 증강현실이 구현되므로, 작업자는 블록 외판에 의장품들을 설치하는 작업 전에 작업 대상인 블록 외판과 설치될 의장품들의 형상 및 최종 완성 형상에 대해 쉽게 이해할 수 있으며, 선박이나 해양플랜트 작업을 효율적으로 수행할 수 있게 된다. 이상의 예에서, 사용자 입력에 의해 구조물의 이미지에서 4점의 모서리 점들을 검출하여 3D 모델을 정합하는 예에 대해 설명하였으나, 구조물의 모서리 점들의 검출 개수는 4점으로 한정되지 않으며, 3점으로 축소되거나 5점 이상으로 확대될 수도 있다.
도 7은 본 발명의 다른 실시 예에 따른 구조물 정보 제공 장치를 구성하는 표시부를 보여주는 도면이다. 도 7의 실시 예를 설명함에 있어서, 앞서 설명한 실시 예와 동일하거나 상응하는 구성에 대하여는 중복 설명을 생략할 수 있다. 도 7의 실시 예는 표시부(130)에 의장 특징점 선택 항목(1628)이 추가로 제공되고, 제1 표시 영역(134) 내 구조물의 의장 특징점들(TP5, TP6)에 대한 사용자 입력을 추가로 검출하여 의장 특징점들의 이미지 좌표를 획득하고, 다수의 후보 외판들 중 모서리 점들(TP1 ~ TP4) 및 의장 특징점들(TP5, TP6)의 이미지 좌표들과, 블록 외판의 3차원 형상 모델의 프로젝션 이미지 간의 오차가 가장 작은 외판을 결정하고, 가장 작은 오차를 갖는 외판의 프로젝션된 3차원 모델을 구조물 이미지에 정합하여 증강 현실을 구현할 수 있다.
예를 들어, 모서리 선택 항목(1624)이 선택된 상태에서 제1 표시 영역(134) 내에 사용자 입력이 검출되는 경우, 해당 사용자 입력에 의해 선택된 점들은 구조물의 모서리 점들로 인식되고, 의장 특징점 선택 항목(1628)이 선택된 상태에서 제1 표시 영역(134) 내에 사용자 입력이 검출되는 경우, 해당 사용자 입력에 의해 선택된 점들은 의장 특징점들로 구별되어 인식될 수 있다. 의장 특징점들은 블록의 외판에 배관 설치를 위해 형성된 배관공, 각종 의장품 설치를 위해 블록의 특정 지점에 미리 설치된 브래킷이나 볼트 체결공 등을 예로 들 수 있으나, 이에 한정되지는 않는다.
도 8은 도 7에 도시된 구조물 정보 제공 장치의 외판 결정 방법에 대해 설명하기 위한 개념도이다. 도 8을 참조하면, 구조물의 블록 정보에 부합하는 후보 외판들의 3차원 형상 모델들이 추출되면, 다수의 후보 외판들 중 사용자입력 검출부(162)에 의해 인식된 구조물의 모서리 점들(TP1 ~ TP4) 및 의장 특징점들(TP5, TP6)의 이미지 좌표들과, 3차원 형상 모델들의 프로젝션 이미지들의 모서리 대응점들(ME1 ~ ME4) 및 의장 대응점들(ME5, ME6) 간의 오차들을 산출한 후, 가장 작은 오차를 갖는 외판을 결정할 수 있다. 일 실시 예로, 오차는 사용자 입력에 의해 검출된 구조물의 모서리 점들(TP1 ~ TP4) 및 의장 특징점들(TP5, TP6)과, 외판의 프로젝션된 3차원 형상 모델의 모서리 대응점들(ME1 ~ ME4) 및 의장 대응점들(ME5, ME6) 간의 오차들(E1 ~ E6)의 합에 근거하여 산출될 수 있다.
본 발명의 실시 예에 따라 구조물의 이미지에 3차원 모델을 정합하는 방법의 단계들은 예를 들어 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 컴퓨터로 읽을 수 있는 기록매체는 SRAM(Static RAM), DRAM(Dynamic RAM), SDRAM(Synchronous DRAM) 등과 같은 휘발성 메모리, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Electrically Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), 플래시 메모리 장치, PRAM(Phase-change RAM), MRAM(Magnetic RAM), RRAM(Resistive RAM), FRAM(Ferroelectric RAM)과 같은 불휘발성 메모리, 플로피 디스크, 하드 디스크 또는 광학적 판독 매체 예를 들어 시디롬, 디브이디 등과 같은 형태의 저장매체일 수 있으나, 이에 제한되지는 않는다.
이상의 실시 예들은 본 발명의 이해를 돕기 위하여 제시된 것으로, 본 발명의 범위를 제한하지 않으며, 이로부터 다양한 변형 가능한 실시 예들도 본 발명의 범위에 속하는 것임을 이해하여야 한다. 본 발명의 기술적 보호범위는 특허청구범위의 기술적 사상에 의해 정해져야 할 것이며, 본 발명의 기술적 보호범위는 특허청구범위의 문언적 기재 그 자체로 한정되는 것이 아니라 실질적으로는 기술적 가치가 균등한 범주의 발명에 대하여까지 미치는 것임을 이해하여야 한다.
100: 구조물 정보 제공 장치 110: 이미지 획득부
120: 사용자 인터페이스부 130: 표시부
140: 저장부 150: 통신부
160: 정합부 162: 사용자입력 검출부
164: 후보외판모델 추출부 166: 외판 결정부
168: 정합 처리부 170: 제어부

Claims (7)

  1. 구조물의 이미지를 표시 화면 내의 표시 영역에 표시하는 표시부; 및
    상기 구조물의 이미지가 표시되는 상기 표시 영역 내에서 상기 구조물의 모서리 점들에 대한 사용자 입력을 검출하고, 상기 사용자 입력에 의해 검출된 모서리 점들의 이미지 좌표들을 이용하여, 상기 구조물의 3차원 모델을 상기 구조물의 이미지에 정합하는 정합부를 포함하며,
    상기 정합부는,
    상기 표시 영역 내 상기 구조물의 모서리 점들에 대한 사용자 입력을 검출하여 상기 모서리 점들의 이미지 좌표들을 획득하는 사용자입력 검출부;
    상기 구조물의 블록 정보에 부합하는 다수의 서로 다른 후보 외판들에 대해 각각 3차원 형상 모델을 추출하는 후보외판모델 추출부;
    상기 다수의 서로 다른 후보 외판들 중 상기 모서리 점들의 이미지 좌표들과 상기 3차원 형상 모델의 프로젝션 이미지 간의 오차가 가장 작은 외판을 결정하는 외판 결정부; 및
    상기 오차가 가장 작은 외판의 3차원 모델의 프로젝션 이미지를 상기 구조물의 이미지에 정합 처리하는 정합 처리부를 포함하고,
    상기 사용자입력 검출부는,
    제1 사용자 입력에 의해 사용자 입력 지점들을 나타내는 부호들이 상기 표시 영역에 표시되도록 하고;
    상기 표시 영역에 표시되는 상기 부호들을 상기 구조물의 모서리 점들로 드래그하는 제2 사용자 입력에 의해 상기 부호들이 나타내는 사용자 입력 지점들이 상기 표시 영역 상에 변경되어 표시되도록 하고;
    상기 제2 사용자 입력에 의해 변경된 사용자 입력 지점들에 따라 상기 구조물의 모서리 점들의 이미지 좌표들을 획득하고; 그리고
    상기 표시 영역 내 상기 구조물의 적어도 하나의 의장 특징점에 대한 제3 사용자 입력을 검출하여 상기 의장 특징점의 이미지 좌표를 획득하고,
    상기 외판 결정부는 상기 다수의 서로 다른 후보 외판들 중 상기 구조물의 모서리 점들 및 상기 의장 특징점의 이미지 좌표들과 상기 3차원 형상 모델의 프로젝션 이미지 간의 오차가 가장 작은 외판을 결정하는 구조물 정보 제공 장치.
  2. 제1 항에 있어서,
    상기 정합부는 3점 내지 5점의 상기 모서리 점들의 이미지 좌표들을 이용하여 상기 구조물의 3차원 모델을 상기 구조물의 이미지에 정합하는 구조물 정보 제공 장치.
  3. 삭제
  4. 삭제
  5. 구조물의 이미지를 표시 화면 내의 표시 영역에 표시하는 단계; 및 상기 구조물의 이미지가 표시되는 상기 표시 영역 내에서 상기 구조물의 모서리 점들에 대한 사용자 입력을 검출하고, 검출된 상기 모서리 점들의 이미지 좌표들을 이용하여 상기 구조물의 3차원 모델을 상기 구조물의 이미지에 정합하는 단계를 실행시키되, 상기 정합하는 단계는, 상기 표시 영역 내 상기 구조물의 모서리 점들에 대한 사용자 입력을 검출하여 상기 모서리 점들의 이미지 좌표들을 획득하는 단계; 상기 구조물의 블록 정보에 부합하는 다수의 서로 다른 후보 외판들에 대해 3차원 형상 모델을 추출하는 단계; 상기 다수의 서로 다른 후보 외판들 중 상기 모서리 점들의 이미지 좌표들과 상기 3차원 형상 모델의 프로젝션 이미지 간의 오차가 가장 작은 외판을 결정하는 단계; 및 상기 오차가 가장 작은 외판의 3차원 모델의 프로젝션 이미지를 상기 구조물의 이미지에 정합 처리하는 단계를 포함하고, 상기 이미지 좌표들을 획득하는 단계는, 제1 사용자 입력에 의해 사용자 입력 지점들을 나타내는 부호들이 상기 표시 영역에 표시되도록 하는 단계; 상기 표시 영역에 표시되는 상기 부호들을 상기 구조물의 모서리 점들로 드래그하는 제2 사용자 입력에 의해 상기 부호들이 나타내는 사용자 입력 지점들이 상기 표시 영역 상에 변경되어 표시되도록 하는 단계; 상기 제2 사용자 입력에 의해 변경된 사용자 입력 지점들에 따라 상기 구조물의 모서리 점들의 이미지 좌표들을 획득하는단계; 및 상기 표시 영역 내 상기 구조물의 적어도 하나의 의장 특징점에 대한 제3 사용자 입력을 검출하여 상기 의장 특징점의 이미지 좌표를 획득하는 단계를 포함하고, 상기 외판을 결정하는 단계는 상기 다수의 서로 다른 후보 외판들 중 상기 구조물의 모서리 점들 및 상기 의장 특징점의 이미지 좌표들과 상기 3차원 형상 모델의 프로젝션 이미지 간의 오차가 가장 작은 외판을 결정하는 단계를 포함하는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  6. 삭제
  7. 삭제
KR1020160145000A 2016-11-02 2016-11-02 구조물 정보 제공 장치 및 기록 매체 KR101873983B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160145000A KR101873983B1 (ko) 2016-11-02 2016-11-02 구조물 정보 제공 장치 및 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160145000A KR101873983B1 (ko) 2016-11-02 2016-11-02 구조물 정보 제공 장치 및 기록 매체

Publications (2)

Publication Number Publication Date
KR20180047996A KR20180047996A (ko) 2018-05-10
KR101873983B1 true KR101873983B1 (ko) 2018-07-05

Family

ID=62185116

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160145000A KR101873983B1 (ko) 2016-11-02 2016-11-02 구조물 정보 제공 장치 및 기록 매체

Country Status (1)

Country Link
KR (1) KR101873983B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230050064A (ko) 2021-10-07 2023-04-14 삼성중공업 주식회사 구조물의 3차원 스캔 데이터와 3차원 설계 데이터의 정합 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230050064A (ko) 2021-10-07 2023-04-14 삼성중공업 주식회사 구조물의 3차원 스캔 데이터와 3차원 설계 데이터의 정합 방법

Also Published As

Publication number Publication date
KR20180047996A (ko) 2018-05-10

Similar Documents

Publication Publication Date Title
JP5991423B2 (ja) 表示装置、表示方法、表示プログラムおよび位置設定システム
JP6265027B2 (ja) 表示装置、位置特定プログラム、および位置特定方法
Williams et al. BIM2MAR: an efficient BIM translation to mobile augmented reality applications
CN105096382B (zh) 一种在视频监控图像中关联真实物体信息的方法及装置
JP6314394B2 (ja) 情報処理装置、設定方法、設定プログラム、システムおよび管理装置
US9208607B2 (en) Apparatus and method of producing 3D model
US9443353B2 (en) Methods and systems for capturing and moving 3D models and true-scale metadata of real world objects
JP6144364B2 (ja) 作業支援用データ作成プログラム
CN109146932B (zh) 确定图像中目标点的世界坐标的方法、装置和系统
JP6299234B2 (ja) 表示制御方法、情報処理装置、および表示制御プログラム
EP2490182A1 (en) authoring of augmented reality
JP6500355B2 (ja) 表示装置、表示プログラム、および表示方法
CN107172346B (zh) 一种虚化方法及移动终端
JP2011146796A5 (ko)
JP6160290B2 (ja) 情報処理装置、判定方法および判定プログラム
US20160012612A1 (en) Display control method and system
CN112150551A (zh) 物体位姿的获取方法、装置和电子设备
US20140244219A1 (en) Method of creating a pipe route line from a point cloud in three-dimensional modeling software
US20210374977A1 (en) Method for indoor localization and electronic device
CN114782646A (zh) 房屋模型的建模方法、装置、电子设备和可读存储介质
Simon In-situ 3d sketching using a video camera as an interaction and tracking device
WO2016084142A1 (ja) 作業支援システム、及び、作業支援方法
KR101873983B1 (ko) 구조물 정보 제공 장치 및 기록 매체
TWI468849B (zh) 建築物紋理擷取裝置及其方法
KR101546653B1 (ko) 증강현실 기반의 실시간 관심 컨텍스트 등록 시스템 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)