KR102103272B1 - 혼합현실 기술을 이용하여 자재의 최적조립을 지원하기 위한 장치 및 그 방법 - Google Patents

혼합현실 기술을 이용하여 자재의 최적조립을 지원하기 위한 장치 및 그 방법 Download PDF

Info

Publication number
KR102103272B1
KR102103272B1 KR1020180111080A KR20180111080A KR102103272B1 KR 102103272 B1 KR102103272 B1 KR 102103272B1 KR 1020180111080 A KR1020180111080 A KR 1020180111080A KR 20180111080 A KR20180111080 A KR 20180111080A KR 102103272 B1 KR102103272 B1 KR 102103272B1
Authority
KR
South Korea
Prior art keywords
assembly
information
data
optimal
optimum
Prior art date
Application number
KR1020180111080A
Other languages
English (en)
Other versions
KR20200031939A (ko
Inventor
장영재
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020180111080A priority Critical patent/KR102103272B1/ko
Priority to PCT/KR2019/011930 priority patent/WO2020060123A1/ko
Publication of KR20200031939A publication Critical patent/KR20200031939A/ko
Application granted granted Critical
Publication of KR102103272B1 publication Critical patent/KR102103272B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/268—Holographic stereogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

혼합현실 기술을 이용하여 자재의 최적조립을 지원하기 위한 장치 및 그 방법을 개시한다.
본 발명의 실시예에 의하면, 가상현실 기술과 증강현실 기술을 결합한 혼합현실 기술을 이용하여 제조 산업 분야에서 자재 조립을 최적화하기 위한 기술로서, 3차원 홀로그래픽 이미지(Holographic Image)를 기반으로 제조 현장의 작업자들에게 자재부품들의 최적 조립순서를 시뮬레이션(Simulation)의 형태로 제공하여 작업현장에서의 생산성을 향상시키고, 작업자들의 의사결정을 지원하기 위한 장치 및 그 방법을 제공한다.

Description

혼합현실 기술을 이용하여 자재의 최적조립을 지원하기 위한 장치 및 그 방법{Apparatus and Method for Supporting Optimal Assembly of Materials Using Mixed-Reality Technology}
본 실시예는 혼합현실 기술을 이용하여 자재의 최적조립을 지원하기 위한 장치 및 그 방법에 관한 것이다. 더욱 상세하게는, 자재를 조립함에 있어 조립 순서를 최적화하고, 3차원 시각화 기술을 이용하는 혼합현실 기술을 이용하여 작업자의 최적조립을 지원하기 위한 장치 및 그 방법에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
가상현실(Virtual Reality, VR) 기술은 컴퓨터를 기반으로 특정 환경 또는 상황을 입체감 있는 컨텐츠(Contents)로 제작하여, 사용자로 하여금 만들어진 주변 상황 또는 주변 환경과 마치 실제 상호작용을 하고 있는 것과 같이 느낄 수 있게 만들어 주는 기술로, 인간과 컴퓨터 사이의 인터페이스 등을 총칭하는 개념이다. 가상현실을 이용한 3D 컨텐츠들은 영화, 게임 등에 이용되며, 소비자들로부터 호평을 받아왔다.
최근에는, 가상현실 기술과 증강현실(Augmented Reality, AR) 기술이 결합된 혼합현실(Mixed Reality, MR) 기술이 주목받고 있다. 혼합현실 기술은 현실과 상호작용을 할 수 있다는 증강현실의 장점과 가상의 물체에 실제와 같은 몰입감을 전할 수 있다는 가상현실의 장점을 동시에 제공하는 기술이다. 혼합현실 기술은 제조, 건설 산업, 재난 예방, 예술 산업 등 폭넓은 산업 분야에 활용될 것으로 예상되고 있어, 그 중요성이 대두되고 있다. 특히, 혼합현실 기술은 제조 산업 분야에서 현장 작업자의 훈련, 교육, 현장 의사결정 지원 등에 도움을 줄 수 있으며, 그 중 자재의 조립 순서를 최적화하여 작업자의 작업과정을 지원할 수 있는 혼합기술 개발이 산업 현장에서 다각적으로 요구되고 있다.
본 발명의 실시예는, 가상현실 기술과 증강현실 기술을 결합한 혼합현실 기술을 이용하여 제조 산업 분야에서 자재 조립을 최적화하기 위한 기술로서, 3차원 홀로그래픽 이미지(Holographic Image)를 기반으로 제조 현장의 작업자들에게 자재부품들의 최적 조립순서를 시뮬레이션(Simulation)의 형태로 제공하여 작업현장에서의 생산성을 향상시키고, 작업자들의 의사결정을 지원하는 데 그 목적이 있다.
본 실시예의 일 측면에 의하면, 조립자재 데이터베이스(Database)로부터 조립자재 데이터를 추출하는 데이터 추출부; 상기 조립자재 데이터를 기반으로 순위점수 데이터를 산출하는 순위점수 산출부; 기 설정된 최적모델을 기반으로 상기 순위점수 데이터를 이용하여 자재 조립 순서를 최적화한 최적정보를 산출하는 최적정보 산출부; 및 상기 최적정보를 조립순서 출력장치로 전송하는 최적정보 출력부를 포함하는 것을 특징으로 하는 혼합현실 기술을 이용한 최적 조립장치를 제공한다.
본 실시예의 다른 측면에 의하면, 조립자재 데이터베이스(Database)로부터 조립자재 데이터를 추출하는 데이터 추출과정; 상기 조립자재 데이터를 기반으로 순위점수 데이터를 산출하는 순위점수 산출과정; 기 설정된 최적모델을 기반으로 상기 순위점수 데이터를 이용하여 자재 조립 순서를 최적화한 최적정보를 산출하는 최적정보 산출과정; 및 상기 최적정보를 조립순서 출력장치로 전송하는 최적정보 출력과정을 포함하는 것을 특징으로 하는 혼합현실 기술을 이용한 최적 조립방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 혼합현실 기술을 이용하여 3차원 홀로그래픽 이미지를 작업자에게 시뮬레이션 형태로 제공할 수 있으므로, 작업자의 올바른 의사결정을 지원할 수 있는 효과가 있다.
또한 본 실시예에 의하면, 작업자의 올바른 의사결정을 지원함으로써 작업 현장에서의 생산성을 높일 수 있고, 최적의 조립순서를 작업자에게 제공하여 자재 조립과정에서의 정확성을 증대시켜 제조 산업에서 유용하게 활용할 수 있는 효과가 있다.
도 1은 본 실시예에 따른 최적조립 시스템의 전체 구조를 개략적으로 나타낸 도면이다.
도 2는 본 실시예에 따른 최적화 처리장치의 구조를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 실시예에 따른 조립연계 정보를 이용한 자재조립 예시도이다.
도 4는 본 실시예에 따른 최적정보를 시각정보로 변환하여 조립순서 출력장치에서 출력한 화면을 설명하기 위한 최적조립 예시도이다.
도 5는 본 실시예에 따라 혼합현실 기술을 이용하여 최적의 자재조립 절차를 수행하는 방법을 설명하기 위한 순서도이다.
도 6은 본 실시예에 따른 조립순서 최적화를 위한 재귀적 알고리즘의 예시도이다.
이하, 본 실시예들을 예시적인 도면을 이용하여 상세하게 설명한다. 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 실시예에서 '포함'이라는 용어는 명세서 상에 기재된 구성요소, 특징, 단계 또는 이들을 조합한 것이 존재한다는 것이지, 하나 또는 복수 개의 구성요소나 다른 특징, 단계 또는 이들을 조합한 것의 존재 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다. 또한, 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 실시예에 따른 최적조립 시스템의 전체 구조를 개략적으로 나타낸 도면이다.
도 1을 참조하면, 최적조립 전체 시스템은 최적화 처리장치(110), 조립자재 데이터베이스(120) 및 조립순서 출력장치(130)를 포함한다.
최적화 처리장치(110)는 조립자재 데이터베이스(120)로부터 조립자재 데이터를 추출한다. 여기서, 조립자재 데이터는 자재 외형정보, 자재 목록정보, 자재 간 인접정보, 자재 입고정보 등을 포함할 수 있고, 조립하고자 하는 자재와 관련된 전반적인 데이터를 의미한다. 최적화 처리장치(110)는 입체감 있는 자재의 조립 순서를 제공하기 위해, 필요에 따라 조립자재 데이터베이스(120)에 저장된 3D 캐드(CAD) 데이터를 FBX(Flimbox) 파일로 변환하거나, 이를 활용하여 별도의 응용프로그램을 통해 조립 시뮬레이션 작업을 수행할 수 있다. 최적화 처리장치(110)는 추출한 조립자재 데이터를 데이터 전처리(Data Preprocessing)를 위해 매트릭스(Matrix) 데이터로 치환하는 것이 바람직하나, 반드시 이에 한정되는 것은 아니며, 데이터 전처리를 위한 방법이면 매트릭스 데이터 치환 외에 다른 방법도 가능하다.
최적화 처리장치(110)는 치환한 매트릭스 데이터를 기반으로 주문 또는 조립의 순위점수 데이터를 산출한다. 여기서 순위점수 데이터는 조립자재의 주문 순위점수 데이터와 조립 순위점수 데이터로 구성되고, 각각의 순위점수 데이터를 산출하기 위해 치환한 매트릭스 데이터의 일 예는 [수학식 1]과 같다.
Figure 112018092457954-pat00001
(P: 자재 인접정보, S: 자재 입고정보)
[수학식 1]에서, P는 자재 인접정보, S는 자재 입고정보를 의미하고, 0 또는 1의 값을 갖는다. 자재 인접정보(P)가 0인 경우 자재 간 인접하고 있지 않고, 1인 경우에는 자재 간 인접하다는 정보를 포함한다. 또한, 자재 입고정보(S)가 0인 경우 해당 자재가 입고되어 있지 않고, 1인 경우에는 해당 자재가 입고되어 있음을 의미한다. 최적화 처리장치(110)는 이에 한정되지 않고 필요에 따라 여러 조립자재 데이터를 [수학식 1]과 같이 매트릭스 데이터로 치환할 수 있다. 최적화 처리장치(110)는 매트릭스 데이터를 이용하여 순위점수 데이터를 산출하기 위한 순위점수 변수들을 산출한다. 최적화 처리장치(110)가 순위점수 변수를 산출하기 위한 일 예는 [수학식 2]와 같다.
Figure 112018092457954-pat00002
(N: 순위점수 변수, E: 자재조립 완료정보, C: 자재조립 후보정보)
최적화 처리장치(110)는 [수학식 2]와 같은 수식을 이용하여 순위점수 변수들을 산출하고, 산출한 순위점수 변수를 이용하여 순위점수 데이터를 산출한다. 자재조립 후보정보는 0 또는 1의 값을 갖는데, 자재조립 후보정보가 0인 경우 해당 자재가 조립 후보 대상에서 제외하고, 1인 경우에는 해당 자재가 조립 후보 대상에 해당함을 의미한다. 또한, N1은 조립순위 점수 산출에 고려한 첫 번째 요소이고, ni 1은 자재 i의 조립 대상 여부(0 또는 1) 및 자재 i와 인접한 조립완료 자재 개수를 곱한 값을 의미한다. N1 외에도 필요에 따라 다양한 순위점수 변수들이 산출되어 고려될 수 있다. 최적화 처리장치(110)가 순위점수 데이터를 산출하기 위한 일 예는 [수학식 3]과 같다.
Figure 112018092457954-pat00003
(Rinstall: 순위점수 데이터)
최적화 처리장치(110)는 [수학식 3]을 이용하여 순위점수 데이터를 산출한다. 순위점수 데이터는 조립 관련 k개 요소들을 가중합(Weighted Sum)한 조립 순위 점수를 의미한다. 순위점수 데이터는 치환된 매트릭스 데이터를 기반으로 [수학식 2] 내지 [수학식 3]을 이용하여 산출하였으나, 반드시 이에 한정되는 것은 아니고, 최적모델에 대입할 수 있는 다른 형태일 수 있다. 최적화 처리장치(110)는 산출한 순위점수 데이터를 기 설정된 알고리즘에 대입하여 최적정보를 산출한다. 여기서, 알고리즘은 제조업 분야 외에도 최적화를 필요로 하는 분야에 사용될 수 있고, 적용분야 별로 다르게 설정되어 최적화를 지원할 수 있다. 최적화 처리장치(110)가 최적정보를 산출하기 위한 일 예는 [수학식 4]와 같다.
Figure 112018092457954-pat00004
(i*: 자재 i의 최적정보)
최적화 처리장치(110)는 순위점수를 기 설정된 최적모델 안의 [수학식 4]에 대입하여 최적정보를 산출한다. 수리적 모델인 [수학식 4]의 형태는 한정되지 않으며, 본 실시 예에는 간단한 형태를 사용한 것으로 필요에 따라 추가적인 조건식을 추가하여 수정할 수 있다. 최적화 처리장치(110)는 최적정보(i*)를 우선 조립 자재로 저장하고, 자재 i*의 조립 완료를 가정하여 매트릭스 데이터를 업데이트(Update)한 후 순위점수 데이터를 산출하여 다음 조립 자재를 선정한다. 여기서 최적모델이라 함은, 재귀적(Recursive) 알고리즘이나 수리적 모델을 포함하는 개념이다. 최적화 처리장치(110)는 산출한 최적정보에 근거하여 최적화된 주문 또는 조립 순서를 결정한다. 최적화 처리장치(110)는 산출한 최적정보를 이용하여 주문 또는 조립의 순서를 최적화한다. 최적모델에 대해서는 도 6에서 후술한다.
최적화 처리장치(110)는 최적정보를 조립순서 출력장치(130)로 전송한다. 더욱 상세하게는, 최적화 처리장치(110)는 조립자재 데이터베이스(120)에 저장된 3D CAD 데이터를 기반으로 별도의 응용 프로그램을 이용하여 최적정보에 대한 시뮬레이션 정보를 생성하고, 생성된 시뮬레이션 정보를 조립순서 출력장치(130)로 전송한다. 조립순서 출력장치(130)에서 출력된 시뮬레이션 결과화면은 도 4와 관련하여 후술한다.
조립자재 데이터베이스(120)는 최적화 처리장치(110)로부터 조립자재 데이터베이스(120)에 접속한다는 접속요청 정보를 수신한 경우, 최적화 처리장치(110)로 접속해도 좋다는 접속허가 정보를 전송한다. 이후 요청에 따라, 조립자재 데이터베이스(120)는 조립자재 데이터를 최적화 처리장치(110)로 전송한다. 더욱 상세하게는, 조립자재 데이터베이스(120)는 접속허가 정보를 전송한 후, 자재 외형정보(3D CAD 데이터), 자재 목록정보(자재관련 텍스트 데이터), 자재 간 인접정보, 자재 입고정보 등을 포함하는 조립자재 데이터를 최적 조립장치로 전송한다. 한편, 조립자재 데이터베이스(120)는 와이파이(Wi-Fi) 또는 블루투스(Bluetooth) 등을 이용하여 최적화 처리장치(110)와 통신을 하는 것이 바람직하나 반드시 이에 한정되지는 않는다. 또한, 최적화 처리장치(110) 및 조립자재 데이터베이스(120)는 하나의 최적조립 클라우드(100)로 구현될 수 있으며, 클라우드가 아니라 하더라도 조립자재 데이터를 송수신할 수 있는 시스템으로 구현이 가능한 다른 형태의 시스템도 가능하다.
조립순서 출력장치(130)는 작업자가 작업현장에서 사용하는 장치로서, 혼합현실 기기를 포함한다. 조립순서 출력장치(130)는 최적정보에 기반한 캐드 모델 시뮬레이션 등 여러 선택 정보들을 홀로렌즈(HoloLens)를 이용하여 최적정보의 캐드 모델을 시각화한다. 조립순서 출력장치(130)는 홀로렌즈를 이용한 혼합현실 기기로 구현되는 것이 바람직하나, 반드시 이에 한정되지는 않고, 다른 혼합현실 기술을 지원하는 기기일 수 있다.
도 2는 본 실시예에 따른 최적화 처리장치의 구조를 개략적으로 나타낸 블록 구성도이다.
도 2를 참조하면, 본 실시예에 따른 최적화 처리장치(110)는 데이터 추출부(230), 순위점수 산출부(240), 알고리즘 저장부(250), 최적정보 산출부(260) 및 최적정보 출력부(270)를 포함한다.
도 2에서는 데이터 추출부(230) 및 순위점수 산출부(240)가 각각 별개의 장치로 구현되어 있으나 반드시 이에 한정되는 것은 아니고, 하나의 포괄적인 데이터 처리부(210)로 구현될 수 있다. 또한, 알고리즘 저장부(250), 최적정보 산출부(260) 및 최적정보 출력부(270)도 각각 별개의 장치로 구현되어 있으나 반드시 이에 한정되는 것은 아니고, 하나의 포괄적인 최적화 모듈(220)로 구현될 수 있다. 이하에서는 설명의 편의를 위해 데이터 처리부(210)를 데이터 추출부(230) 및 순위점수 산출부(240)로, 최적화 모듈(220)을 알고리즘 저장부(250), 최적정보 산출부(260) 및 최적정보 출력부(270)로 각각 구분하여 설명한다.
데이터 추출부(230)는 최적의 조립순서를 파악하기 위해 조립자재 데이터베이스(120)로 접속요청 정보를 전송한다. 조립자재 데이터베이스(120)는 접속요청 정보에 대응하여 데이터 추출부(230)로 접속허가 정보를 전송한다. 데이터 추출부(230)는 접속허가 정보를 수신한 후, 조립자재 데이터베이스(120)에 접속한다. 데이터 추출부(230)는 조립자재 데이터베이스(120)로부터 조립할 자재와 관련된 조립자재 데이터를 추출한다. 즉, 조립자재 데이터베이스(120)에는 자재관련 텍스트 데이터 및 3D 캐드 데이터(또는 FBX 파일) 등이 저장되어 있고, 데이터 추출부(230)는 조립자재 데이터베이스로부터 필요한 자재관련 텍스트 데이터를 추출한다.
순위점수 산출부(240)는 추출한 조립자재 데이터를 가공 또는 전처리하기 위해 필요한 텍스트 데이터를 매트릭스(Matrix) 데이터로 치환한다. 즉, 순위점수 산출부(240)는 조립자재 데이터에 포함된 자재 목록정보, 자재 간 인접정보, 자재 입고정보 등을 매트릭스 형태로 치환하고, 치환된 매트릭스 데이터를 기반으로 순위점수 데이터를 산출한다. 순위점수 산출부(240)는 [수학식 2] 내지 [수학식 3]과 같은 방법으로 순위점수 데이터를 산출한다. 순위점수 데이터는 주문순서에 관한 점수인 주문 순위점수 데이터, 조립순서에 관한 점수인 조립 순위점수 데이터를 포함한다. 순위점수 산출부(240)는 산출한 주문 순위점수 데이터 또는 조립 순위점수 데이터를 최적정보 산출부(260)로 전송한다.
알고리즘 저장부(250)는 사용자에 의해 기 설정된 최적모델, 즉 재귀적 알고리즘 또는 수리적 모델을 저장한다. 알고리즘 저장부(250)는 사용자로부터 별도의 요청 또는 요구사항이 있거나, 최적정보 산출부(260)가 순위점수 데이터를 수신한 경우 순위점수 데이터에 대응하는 알고리즘을 최적정보 산출부(260)로 전송한다. 더욱 상세하게는, 알고리즘 저장부(250)는 시스템 상에서 사용자의 별도의 요청 또는 요구사항이 있거나, 최적정보 산출부(260)가 수신한 주문 순위점수 데이터 또는 조립 순위점수 데이터에 따라, 주문순위 최적모델 또는 조립순위 최적모델을 최적정보 산출부(260)로 전송한다. 한편, 알고리즘 저장부(250)에 저장된 재귀적 알고리즘 또는 수리적 모델에는 알고리즘을 구성하는 수학식을 포함한다. 수학식은 전술한 [수학식 2] 내지 [수학식 4]에 한정되지 않으며, 알고리즘을 수행함에 있어 필요한 수학식을 포함하는 개념으로 이해되어야 할 것이다.
최적정보 산출부(260)는 순위점수 산출부(240)로부터 수신한 순위점수 데이터 및 알고리즘 저장부(250)로부터 수신한 최적모델을 기반으로 최적정보를 산출한다. 더욱 자세하게는, 최적정보 산출부(260)는 기 설정된 주문순위 최적모델에 주문 순위점수 데이터를 대입하거나 조립순위 최적모델에 조립 순위점수 데이터를 대입하여 최적정보를 산출한다. 여기서, 최적정보는 주문 최적정보 또는 조립 최적정보를 포함하는 개념이다.
최적정보 출력부(270)는 산출한 최적정보를 조립순서 출력장치(130)로 전송한다. 최적정보 출력부(270)는 조립자재 데이터베이스(120)에 저장된 3D CAD 데이터를 기반으로 별도의 응용 프로그램을 이용하여 최적정보에 대해 생성한 시뮬레이션 및 필요한 여러 관련 정보들을 조립순서 출력장치(130)로 전송한다. 조립순서 출력장치(130)는 수신한 시뮬레이션 정보를 기반으로 사용자에게 3차원 캐드 모델로 구현한 조립순서를 제공한다. 또한, 최적정보 출력부로부터 시각정보를 수신한 혼합현실 장비는 마이크로소프트(Microsoft) 사의 홀로렌즈(HoloLens)일 수 있다.
도 3은 본 실시예에 따른 조립연계 정보를 이용한 자재조립 예시도이다.
최적화 처리장치(110)는 조립연계 산출모델을 통해 조립연계 정보를 산출할 수 있다. 여기서, 조립연계 정보라 함은 자재를 조립하는 경우, 자재 간 연결 합이 맞는지 여부에 관한 정보를 포함하는 개념이다. 즉, 최적화 처리장치(110)는 조립자재 데이터를 이용하여 조립연계 정보를 산출할 수 있고, 산출한 조립연계 정보를 이용하여 조립연계가 가능한 자재에 대해 판단하여, 최적화 변수들에 반영할 수 있다.
최적화 처리장치(110)는 산출한 조립연계 정보를 최적정보에 반영할 수 있다. 예컨대, 도 3의 (a)는 입고된 자재를 조립하게 될 경우, 조립연계 가능한 자재의 수는 4개이다. 반면에, 도 3의 (b)는 입고된 자재를 조립하게 될 경우, 조립연계 가능한 자재의 수는 3개가 된다. 최적화 처리장치(110)는 조립연계 가능한 자재의 수를 고려하기 위해서 조립연계 정보를 이용한다. 도 3의 (a), (b)는 입고된 자재의 수가 1개로 서로 동일하지만, 자재 입고 후 조립연계 가능한 자재의 수는 (a)가 (b)에 비해 더 크므로 (a)에 입고된 조립 자재가 (b)에 입고된 조립 자재보다 중요하다고 판단할 수 있다. 즉, 도 3의 (a)는 1개의 조립 자재를 입고한 경우, 4개의 조립연계가 가능하게 되어 도 3의 (b)에 비해 1개 더 많은 조립 가능한 경우의 수를 갖는다. 최적화 처리장치(110)는 조립연계 정보를 최적모델에 대입하여 최적정보에 반영할 수 있다.
도 4는 본 실시예에 따른 최적정보를 시각정보로 변환하여 조립순서 출력장치에서 출력한 화면을 설명하기 위한 최적조립 예시도이다.
최적화 처리장치(110)는 순위점수 데이터를 기반으로 산출한 최적정보를 별도의 응용프로그램을 통해 캐드 모델을 활용한 시뮬레이션 등의 시각정보로 변환하여 관련 필요 정보와 함께 조립순서 출력장치(130)로 전송한다. 도 4를 참조하면, 최적조립 결과도면은 수신된 시각정보를 기반으로 조립순서 출력장치(130)에서 출력되며, 조립순서와 주문순서를 표시한다.
최적조립 결과도면은 조립자재 번호를 표시하고, 조립자재의 상태정보를 표시한다. 예컨대, 최적조립 결과도면은 설치완료, 자재입고, 워크오더(Work-Order, W/O) 미발행 등의 상태정보를 조립자재 번호와 함께 표시한다. 조립순서는 조립순서 1부터 조립하고, 순차적으로 조립순서 2, 조립순서 3을 조립한다. 즉, 조립순서는 조립자재 번호 10 내지 17번에 해당하는 자재를 먼저 조립하고, 그 다음 20번을 조립한 뒤, 19번, 18번을 조립한다. 최적화 처리장치(110)는 최적정보를 산출함에 있어 조립자재 데이터에 포함된 자재의 입고정보를 고려하여 산출한다. 최적화 처리장치(110)는 자재의 입고정보를 고려하여 조립 순위점수 데이터를 산출한 뒤, 기 설정된 최적모델에 조립 순위점수 데이터를 대입하여 획득한 조립순서에 관한 최적정보를 이용하여 조립순서를 판단한다. 즉, 최적화 처리장치(110)는 조립에 필요한 자재가 모두 입고된 조립자재 번호 10 내지 17번에 해당하는 자재를 조립순서 1로 판단한다. 최적화 처리장치(110)는 조립순서 2, 3도 전술한 방법으로 판단한다.
주문순서는 주문순서 1부터 주문하고, 순차적으로 주문순서 2, 주문순서 3을 주문한다. 즉, 주문순서는 조립자재 번호4를 먼저 주문하고, 그 다음 24 내지 21을 주문한 뒤, 27 내지 25를 주문한다. 최적화 처리장치(110)는 자재의 입고정보를 고려하여 주문 순위점수 데이터를 산출한 뒤, 기 설정된 최적모델에 주문 순위점수 데이터를 대입하여 획득한 주문순서에 관한 최적정보를 이용하여 주문순서를 판단한다. 즉, 최적화 처리장치(110)는 조립을 하기 위해서 조립자재 번호 4번을 제외한 조립자재 번호 3번, 5번에 해당하는 자재가 입고되어 있으므로 해당 실시 예에서는 조립연계가 고려되어 조립자재 번호 4번에 해당하는 자재를 주문순서 1로 판단한다. 최적화 처리장치(110)는 주문순서 2, 3도 전술한 방법으로 판단한다. 도 4에 도시한 결과화면에 대한 예시도로 반드시 이처럼 구현되는 것은 아니며, 실제 조립순서 출력장치(130)에서 출력된 화면은 이와 다를 수 있다.
도 5는 본 실시예에 따라 혼합현실 기술을 이용하여 최적의 자재조립 절차를 수행하는 방법을 설명하기 위한 순서도이다.
최적화 처리장치(110)는 조립자재 데이터베이스(120)와 연동하여 조립하고자 하는 조립자재 데이터를 수신한다(S502). 최적화 처리장치(110)는 수신한 조립자재 데이터 중 필요한 자재관련 텍스트 데이터를 추출하여 저장한다(S504). 또한, 최적화 처리장치(110)는 저장된 자재관련 텍스트 데이터를 매트릭스 데이터로 치환한다(S506). 조립자재 데이터는 자재 외형정보, 자재 목록정보, 자재 간 인접정보, 자재 입고정보 등을 포함할 수 있고, 조립하고자 하는 자재와 관련된 전반적인 데이터를 의미하는 바, 매트릭스 데이터도 자재와 관련된 전반적인 데이터를 포함한다.
최적화 처리장치(110)는 매트릭스 데이터를 기반으로 순위점수 데이터를 산출한다(S508). 순위점수 데이터는 주문 순위점수 데이터, 조립 순위점수 데이터를 포함할 수 있으며, 최적화 처리장치(110)는 전술한 [수학식 1] 내지 [수학식 3]을 이용하여 순위점수 데이터를 산출한다.
최적화 처리장치(110)는 산출된 순위점수 데이터와 그 형태를 기 설정된 최적모델에 대입한다(S510). 최적모델은 재귀적 알고리즘, 수리적 모델 등을 포함할 수 있다. 본 실시예에서는 재귀적 알고리즘을 사용하였으며, 그에 대해서는 도 6에서 후술한다. 최적화 처리장치(110)는 의사결정이 필요한 총 N개의 조립 자재들에 대해 최적정보를 산출한다(S512).
최적화 처리장치(110)는 별도의 응용프로그램을 이용하여 최적정보를 3D CAD 모델로 가시화한다(S514). 조립순서 출력장치(130)는 최적정보 출력부(270)를 통해 조립자재의 3D CAD 모델을 시뮬레이션하여 사용자에게 최적의 조립순서를 제공한다(S516).
한편, 도 5에서는 단계 S502 내지 단계 S516을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 5에 기재된 순서를 변경하여 실행하거나 단계 S502 내지 단계 S516 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.
도 6은 본 실시예에 따른 조립순서 최적화를 위한 재귀적 알고리즘의 예시도이다.
최적화 처리장치(110)는 본 실시예에서 기 설정된 최적모델인 재귀적 알고리즘에 의해 조립 자재의 수(도 6의 N)만큼 기 설정된 연산을 반복한다. 더욱 상세하게는, 최적화 처리장치(110)는 매트릭스 데이터를 이용하여 순위점수 데이터를 산출한다. 순위점수 데이터는 [수학식 1] 내지 [수학식 3]에 의해 산출된다. 최적화 처리장치(110)는 [수학식 4]를 기반으로 순위점수 데이터를 이용하여 최적정보를 산출하고, 조립자재의 수에 해당할 때까지 재귀적 알고리즘을 반복하여 연산한다. 최적화 처리장치(110)는 최적정보를 모두 산출하고 난 후, 최적정보를 시각정보로 변환하여 조립순서 출력장치(130)로 전송한다. 조립순서 출력장치(130)는 시각정보를 이용하여 최적화된 조립순서를 출력한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 최적조립 클라우드 110: 최적화 처리장치
120: 조립자재 데이터베이스 130: 조립순서 출력장치
210: 데이터 처리부 220: 최적화 모듈
230: 데이터 추출부 240: 순위점수 산출부
250: 알고리즘 저장부 260: 최적정보 산출부
270: 최적정보 출력부

Claims (8)

  1. 조립자재 데이터베이스(Database)와 연동하여 상기 조립자재 데이터베이스로부터 조립하고자 하는 조립자재 데이터를 수신하고, 상기 조립자재 데이터 중 필요한 자재관련 텍스트 데이터를 추출하여 저장하고, 저장된 상기 자재관련 텍스트 데이터를 매트릭스 데이터로 치환하는 데이터 추출부;
    상기 매트릭스 데이터를 기반으로 자재 인접정보(P), 자재 입고정보(S), 순위점수 변수(N), 자재조립 완료정보(E), 자재조립 후보정보(C)를 산출하고, 상기 자재 인접정보(P), 상기 자재 입고정보(S), 상기 순위점수 변수(N), 상기 자재조립 완료정보(E), 상기 자재조립 후보정보(C)를 기반으로 순위점수 데이터를 산출하며, 조립연계 산출모델에 상기 조립자재 데이터를 적용하여 조립연계 정보를 산출하는 순위점수 산출부;
    상기 순위점수 데이터 및 상기 조립연계 정보를 기 설정된 최적모델에 대입하여 자재 조립 순서를 최적화한 총 N개의 조립 자재들에 대해 최적정보를 산출하는 최적정보 산출부; 및
    별도의 응용프로그램을 이용하여 상기 최적정보를 기 설정된 모델로 가시화하고, 상기 최적정보를 조립순서 출력장치로 전송하는 최적정보 출력부
    를 포함하는 것을 특징으로 하는 혼합현실 기술을 이용한 최적 조립장치.
  2. 제 1 항에 있어서,
    상기 최적정보 산출부는,
    상기 최적모델 중 재귀적 알고리즘(Recursive Algorithm)을 기반으로 상기 순위점수 데이터에 포함된 주문 순위점수 데이터 및 조립 순위점수 데이터 중 적어도 하나의 데이터를 이용하여 상기 최적정보를 산출하는 것을 특징으로 하는 혼합현실 기술을 이용한 최적 조립장치.
  3. 제 1 항에 있어서,
    상기 순위점수 산출부는,
    데이터 전처리(Data Preprocessing)를 이용하여 상기 조립자재 데이터에 포함된 자재목록, 인접정보 또는 입고정보를 매트릭스(Matrix) 데이터로 치환하여 산출된 순위점수 변수들에 따라 상기 순위점수 데이터를 산출하는 것을 특징으로 하는 혼합현실 기술을 이용한 최적 조립장치.
  4. 제 1 항에 있어서,
    상기 최적정보 출력부는,
    3차원 캐드(CAD) 모델을 기반으로 상기 최적정보를 육안으로 확인 가능하도록 별도의 응용프로그램을 기반으로 시각정보로 변환하여 상기 조립순서 출력장치로 전송하는 것을 특징으로 하는 혼합현실 기술을 이용한 최적 조립장치.
  5. 제 1 항에 있어서,
    상기 최적정보 산출부는,
    기 설정된 조립연계 최적모델을 기반으로 상기 조립자재 데이터를 이용하여 상기 조립자재 데이터 간 연결 합이 맞는 지 여부를 확인하기 위해 조립연계 정보를 산출하는 것을 특징으로 하는 혼합현실 기술을 이용한 최적 조립장치.
  6. 제 5 항에 있어서,
    상기 최적정보 산출부는,
    상기 조립연계 정보를 상기 조립연계 최적모델에 대입하여 상기 최적정보에 반영하는 것을 특징으로 하는 혼합현실 기술을 이용한 최적 조립장치.
  7. 제 2 항에 있어서,
    상기 최적정보 산출부는,
    상기 재귀적 알고리즘 외에 수학모델(Mathematical Model)을 이용하여 상기 최적정보를 산출하는 것을 특징으로 하는 혼합현실 기술을 이용한 최적 조립장치.
  8. 데이터 추출부에서 조립자재 데이터베이스(Database)와 연동하여 상기 조립자재 데이터베이스로부터 조립하고자 하는 조립자재 데이터를 수신하고, 상기 조립자재 데이터 중 필요한 자재관련 텍스트 데이터를 추출하여 저장하고, 저장된 상기 자재관련 텍스트 데이터를 매트릭스 데이터로 치환하는 과정;
    순위점수 산출부에서 상기 매트릭스 데이터를 기반으로 자재 인접정보(P), 자재 입고정보(S), 순위점수 변수(N), 자재조립 완료정보(E), 자재조립 후보정보(C)를 산출하고, 상기 자재 인접정보(P), 상기 자재 입고정보(S), 상기 순위점수 변수(N), 상기 자재조립 완료정보(E), 상기 자재조립 후보정보(C)를 기반으로 순위점수 데이터를 산출하며, 조립연계 산출모델에 상기 조립자재 데이터를 적용하여 조립연계 정보를 산출하는 과정;
    최적정보 산출부에서 상기 순위점수 데이터 및 상기 조립연계 정보를 기 설정된 최적모델에 대입하여 자재 조립 순서를 최적화한 총 N개의 조립 자재들에 대해 최적정보를 산출하는 과정; 및
    최적정보 출력부에서 별도의 응용프로그램을 이용하여 상기 최적정보를 기 설정된 모델로 가시화하고, 상기 최적정보를 조립순서 출력장치로 전송하는 과정
    을 포함하는 것을 특징으로 하는 혼합현실 기술을 이용한 최적 조립방법.
KR1020180111080A 2018-09-17 2018-09-17 혼합현실 기술을 이용하여 자재의 최적조립을 지원하기 위한 장치 및 그 방법 KR102103272B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180111080A KR102103272B1 (ko) 2018-09-17 2018-09-17 혼합현실 기술을 이용하여 자재의 최적조립을 지원하기 위한 장치 및 그 방법
PCT/KR2019/011930 WO2020060123A1 (ko) 2018-09-17 2019-09-16 혼합현실 기술을 이용하여 자재의 최적조립을 지원하기 위한 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180111080A KR102103272B1 (ko) 2018-09-17 2018-09-17 혼합현실 기술을 이용하여 자재의 최적조립을 지원하기 위한 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200031939A KR20200031939A (ko) 2020-03-25
KR102103272B1 true KR102103272B1 (ko) 2020-04-22

Family

ID=69887611

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180111080A KR102103272B1 (ko) 2018-09-17 2018-09-17 혼합현실 기술을 이용하여 자재의 최적조립을 지원하기 위한 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR102103272B1 (ko)
WO (1) WO2020060123A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102146375B1 (ko) * 2019-04-03 2020-08-20 전남과학대학교 산학협력단 혼합 현실 기반의 로봇 시뮬레이터 플랫폼 시스템
US11910083B2 (en) 2020-11-06 2024-02-20 Samsung Electro-Mechanics Co., Ltd. Method and system with optimization of lens module assembly

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202802A (ja) * 2004-01-16 2005-07-28 Ricoh Co Ltd アセンブリ組み立て工程表示装置、アセンブリ組み立て工程表示方法、プログラム及びコンピュータシステム
JP2012155424A (ja) * 2011-01-25 2012-08-16 Hitachi Ltd 設計支援装置、方法およびプログラム
KR101490029B1 (ko) 2013-06-27 2015-02-06 울산대학교 산학협력단 부품의 조립방향에 기반한 조립순서 최적화 방법 및 그 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100025983A (ko) * 2008-08-28 2010-03-10 경상대학교산학협력단 가상조립 시뮬레이션 시스템
KR20130045584A (ko) * 2011-10-26 2013-05-06 현대중공업 주식회사 설계 충돌 검사 시스템 및 방법
KR20140007137A (ko) * 2012-07-09 2014-01-17 정진호 가상 장난감 제공방법 및 그 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202802A (ja) * 2004-01-16 2005-07-28 Ricoh Co Ltd アセンブリ組み立て工程表示装置、アセンブリ組み立て工程表示方法、プログラム及びコンピュータシステム
JP2012155424A (ja) * 2011-01-25 2012-08-16 Hitachi Ltd 設計支援装置、方法およびプログラム
KR101490029B1 (ko) 2013-06-27 2015-02-06 울산대학교 산학협력단 부품의 조립방향에 기반한 조립순서 최적화 방법 및 그 장치

Also Published As

Publication number Publication date
WO2020060123A1 (ko) 2020-03-26
KR20200031939A (ko) 2020-03-25

Similar Documents

Publication Publication Date Title
JP7001359B2 (ja) 緊急動作のためのシミュレーション拡張現実システム
US20200310624A1 (en) Augmentable and spatially manipulable 3d modeling
Mujber et al. Virtual reality applications in manufacturing process simulation
Bille et al. Extending building information models into game engines
Froehlich et al. Investigating virtual reality headset applications in construction
CN106774949A (zh) 协同仿真交互方法、装置和系统
KR20140059720A (ko) 경량 모델 기반 선박 건조 공정의 생산을 위한 협업 시스템
EP3392745A1 (en) Multi-device virtual reality, artifical reality and mixed reality analytics
KR101328224B1 (ko) 철강공정용 가상설비 시스템 및 그의 동작 방법
Abshire et al. Virtual maintenance real-world applications within virtual environments
KR102051543B1 (ko) Vr 훈련 시스템 및 방법
KR102103272B1 (ko) 혼합현실 기술을 이용하여 자재의 최적조립을 지원하기 위한 장치 및 그 방법
KR102051568B1 (ko) Vr 훈련 시스템 및 방법
Cassola et al. A novel tool for immersive authoring of experiential learning in virtual reality
KR102051558B1 (ko) Vr 훈련 시스템 및 방법
Guo et al. An evaluation method using virtual reality to optimize ergonomic design in manual assembly and maintenance scenarios
Chalhoub et al. Effect of varying task attributes on augmented reality aided point layout.
Rojas‐Sola et al. Virtual and augmented reality: Applications for the learning of technical historical heritage
Novack Digital twins and industry 4.0: Videogamers will staff and manage industrial projects in the near future
KR101806356B1 (ko) 블록 다이어그램과 plc 시뮬레이터를 이용한 가상 플랜트 시뮬레이터 및 이를 이용한 시뮬레이터 실행 방법
Gebert et al. Meta-model for VR-based design reviews
Yang et al. Building Information Modeling and Virtual Reality: Workflows for Design and Facility Management
Linares-Garcia et al. Framework and case studies for context-aware ar system (caars) for ubiquitous applications in the aec industry
Grznár et al. Application of virtual reality in the design of production systems and teaching
Roungas et al. Harnessing Web 3.0 and R to Mitigate Simulation Validation Restrictions.

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant