KR102576990B1 - 학습 데이터셋 생성 장치 및 방법 - Google Patents
학습 데이터셋 생성 장치 및 방법 Download PDFInfo
- Publication number
- KR102576990B1 KR102576990B1 KR1020210036682A KR20210036682A KR102576990B1 KR 102576990 B1 KR102576990 B1 KR 102576990B1 KR 1020210036682 A KR1020210036682 A KR 1020210036682A KR 20210036682 A KR20210036682 A KR 20210036682A KR 102576990 B1 KR102576990 B1 KR 102576990B1
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- real image
- unit
- thermal image
- image sensor
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000010438 heat treatment Methods 0.000 claims description 49
- 238000001816 cooling Methods 0.000 claims description 44
- 238000004891 communication Methods 0.000 claims description 20
- 238000009413 insulation Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 239000007769 metal material Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
- F16M11/02—Heads
- F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
- F16M11/043—Allowing translations
- F16M11/046—Allowing translations adapted to upward-downward translation movement
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
- F16M11/02—Heads
- F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
- F16M11/06—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Image Analysis (AREA)
Abstract
학습 데이터셋 생성 및 방법이 개시된다. 본 발명의 일 측면에 따른 학습 데이터셋 생성 장치는, 대상물에 열을 가하는 대상물 탑재장치, 열화상 센서 및 실영상 센서가 장착되고, 제어 신호에 따라 이동하면서 상기 열영상 센서 및 실영상 센서를 통해 상기 대상물 탑재장치에 탑재된 대상물의 열영상 데이터 및 실영상 데이터를 획득하는 이동체, 및 상기 이동체의 구동을 제어하기 위한 제어 신호를 생성하고, 상기 제어 신호에 따라 이동 및 회전하는 상기 열영상 센서 및 실영상 센서로부터 열영상 데이터 및 실영상 데이터를 획득하며, 상기 열영상 데이터로부터 상기 대상물을 검출하고, 상기 검출된 대상물을 상기 실영상 데이터에 적용하여 상기 대상물에 대한 바운딩 박스(bounding box)를 생성함으로써 상기 대상물에 대한 학습 데이터를 생성하는 제어장치를 포함한다.
Description
본 발명은 학습 데이터셋 생성 장치 및 방법에 관한 것으로서, 보다 상세하게는 열영상 센서 및 실영상 센서를 이용하여 대상물에 대한 학습 데이터를 자동으로 생성할 수 있도록 하는 학습 데이터셋 생성 장치 및 방법에 관한 것이다.
인공지능의 한분야인 머신러닝은 사람이 학습하듯이 데이터를 제공하여 학습하게 함으로써 지식을 얻어내게 하는 분야이다. 이를 위해서는 많은 데이터를 라벨링하여 데이터셋을 구성하여 학습을 시켜야 하는 것이 필요하다.
이는 학습시키기 위한 데이터를 분류하여 데이터셋을 구성하여 학습시킴으로써, 학습된 패턴의 양과 정확성에 따라 인공지능의 성과와 연결된다고 볼 수 있다.
기존에는 데이터셋을 구성하기 위해 데이터를 증가(data augmentation)시키거나, 데이터를 수작업으로 분류(labeling, 라벨링)하였다.
데이터 증가 시키는 방법은 원본 이미지에 대하여 상하나 좌우를 반전시키거나 일부 영역을 잘라내는 등을 통해 데이터셋을 확장하는 방식이며, 데이터 수작업 분류 방식은 수작업을 통해 데이터를 일일이 지정하여 처리하는 방식이다.
이러한 작업은 수작업으로 수행하기 때문에 학습을 위한 사전 준비 시간이 많이 소요됨으로써 실제 인공지능을 접목한 서비스의 효용성이 낮아지게 되는 결과가 나타나게 되는 단점이 있다.
본 발명과 관련된 선행기술로는 대한민국등록특허 제10-2175531호(2020.11.06. 공고)가 있다.
본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 본 발명의 목적은 열영상 센서 및 실영상 센서를 이용하여 대상물에 대한 학습 데이터셋을 자동으로 생성할 수 있도록 하는 학습 데이터셋 생성 장치 및 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따른 학습 데이터셋 생성 장치는, 대상물에 열을 가하는 대상물 탑재장치, 열화상 센서 및 실영상 센서가 장착되고, 제어 신호에 따라 이동하면서 상기 열영상 센서 및 실영상 센서를 통해 상기 대상물 탑재장치에 탑재된 대상물의 열영상 데이터 및 실영상 데이터를 획득하는 이동체, 및 상기 이동체의 구동을 제어하기 위한 제어 신호를 생성하고, 상기 제어 신호에 따라 이동 및 회전하는 상기 열영상 센서 및 실영상 센서로부터 열영상 데이터 및 실영상 데이터를 획득하며, 상기 열영상 데이터로부터 상기 대상물을 검출하고, 상기 검출된 대상물을 상기 실영상 데이터에 적용하여 상기 대상물에 대한 바운딩 박스(bounding box)를 생성함으로써 상기 대상물에 대한 학습 데이터를 생성하는 제어장치를 포함한다.
본 발명에서 상기 대상물 탑재장치는, 전원을 공급하는 전원부, 상기 전원부로부터 전원을 공급받아 상기 대상물을 가열하는 가열부, 상기 가열부의 측면 일정 영역에 설치되는 단열부, 및 상기 단열부의 일측면에 설치되고, 상기 전원부로부터 전원을 공급받아 냉각 기능을 수행하는 냉각부를 포함할 수 있다.
본 발명에서 상기 가열부는, 상기 대상물의 밑면을 관통시키도록 돌출되게 형성되고, 상기 대상물을 가열하는 가열블록, 상기 가열블록의 하부에 설치되는 발열소자, 상기 가열블록의 하부에 설치되어, 상기 가열블록의 온도를 측정하는 제1 온도 센서, 상기 발열소자와 전기적으로 연결되고, 상기 발열소자에 전류를 공급하여 상기 가열블록을 기 설정된 일정 온도까지 가열시키는 제1 전류 제어부를 포함할 수 있다.
본 발명에서 상기 냉각부는, 냉각 소자가 설치되는 냉각판, 상기 냉각판의 하부에 설치되어, 상기 냉각판의 온도를 측정하는 제2 온도 센서, 상기 냉각판과 전기적으로 연결되고, 상기 냉각판에 전류를 공급하여 상기 냉각판을 기 설정된 일정 온도까지 냉각시키는 제2 전류 제어부를 포함하되, 상기 냉각판의 상부면은 특정 색상으로 도색될 수 있다.
본 발명에서 상기 이동체는, 하우징, 상기 하우징의 상부 방향으로 결합되는 샤프트, 상기 샤트프의 일단에 설치되어, 상기 샤프트를 좌우로 이동시키는 제1 액추에이터, 상기 사프트의 타단에 설치되고, 상기 열영상 센서 및 실영상 센서를 포함하는 센서부, 상기 샤프트와 상기 센서부의 사이에 설치되어, 상기 샤프트를 신장 수축시키는 제2 액추에이터, 상기 샤프트와 상기 센서부의 사이에 설치되어, 상기 센서부를 회전시키는 제3 액추에이터, 및 상기 하우징의 하부에 설치되고, 상기 하우징을 이동시키는 주행부를 포함할 수 있다.
본 발명에서 상기 열영상 센서 및 상기 실영상 센서는 일체형으로 구성될 수 있다.
본 발명에서 상기 제3 액추에이터는, 상기 센서부의 피치(pitch), 롤(roll) 및 요(yaw) 중 적어도 하나를 변경시킬 수 있다.
본 발명에서 상기 주행부는, 상기 하우징을 이동시키는 복수의 휠로 구성되고, 상기 휠은 모터가 내장될 수 있다.
본 발명에서 상기 제어장치는, 통신부, 상기 하우징 및 샤프트 중 적어도 하나를 이동시키기 위한 제어 신호를 상기 통신부를 통해 전송하거나, 상기 열영상 센서 및 실영상 센서를 회전시키기 위한 제어 신호를 상기 통신부를 통해 전송하고, 상기 이동체의 이동 시 상기 열영상 센서 및 실영상 센서로부터 열영상 데이터 및 실영상 데이터를 수신하고, 기 설정된 임계값을 기준으로 상기 열영상 데이터에서 상기 대상물을 검출하며, 상기 검출된 대상물에 대한 바운딩 박스를 생성하고, 상기 바운딩 박스를 상기 실영상 데이터에 매칭시켜 상기 실영상 데이터에서 상기 대상물에 대한 바운딩 박스를 생성하는 제어부를 포함할 수 있다.
본 발명에서 상기 제어부는, 상기 검출된 대상물의 중심으로부터 가장 먼 X축값 및 Y축값, 가장 가까운 X축값 및 Y축값을 각각 직선으로 그려 만나는 4개의 점을 상기 실영상 데이터에 매칭시켜 상기 대상물에 대한 바운딩 박스를 생성할 수 있다.
본 발명에서 상기 제어부는, 상기 검출된 대상물의 외곽선을 추출하고, 상기 추출된 외곽선을 상기 실영상 데이터에 매칭시켜 상기 대상물에 대한 세그먼테이션 바운딩 박스를 생성할 수 있다.
본 발명의 다른 측면에 따른 학습 데이터셋 생성 방법은, 제어장치가 이동체의 구동을 위한 제어 신호를 상기 이동체로 전송하는 단계, 상기 이동체가 상기 제어 신호에 따라 이동하면서 열영상 센서 및 실영상 센서를 통해 대상물 탑재장치에 탑재된 대상물의 열영상 데이터 및 실영상 데이터를 획득하고, 상기 획득된 열영상 데이터 및 실영상 데이터를 상기 제어장치로 전송하는 단계, 상기 제어장치가 상기 열영상 데이터로부터 상기 대상물을 검출하고, 상기 검출된 대상물을 상기 실영상 데이터에 적용하여 상기 대상물에 대한 바운딩 박스(bounding box)를 생성함으로써 상기 대상물에 대한 학습 데이터를 생성하는 단계를 포함한다.
본 발명에서 상기 학습 데이터를 생성하는 단계는, 상기 제어장치가 상기 이동체로부터 상기 열영상 데이터 및 실영상 데이터를 수신하는 단계, 상기 제어장치가, 기 설정된 임계값을 기준으로 상기 열영상 데이터에서 상기 대상물을 검출하고, 상기 검출된 대상물에 대한 바운딩 박스를 생성하는 단계, 상기 제어장치가 상기 바운딩 박스를 상기 실영상 데이터에 매칭시켜 상기 실영상 데이터에서 상기 대상물에 대한 바운딩 박스를 생성하는 단계를 포함할 수 있다.
본 발명은 상기 바운딩 박스를 생성하는 단계에서, 상기 제어장치는, 상기 검출된 대상물의 중심으로부터 가장 먼 X축값 및 Y축값, 가장 가까운 X축값 및 Y축값을 각각 직선으로 그려 만나는 4개의 점을 상기 실영상 데이터에 매칭시켜 상기 대상물에 대한 바운딩 박스를 생성할 수 있다.
본 발명은 상기 바운딩 박스를 생성하는 단계에서, 상기 제어장치는, 상기 검출된 대상물의 외곽선을 추출하고, 상기 추출된 외곽선을 상기 실영상 데이터에 매칭시켜 상기 대상물에 대한 세그먼테이션 바운딩 박스를 생성할 수 있다.
본 발명의 일 실시예에 따른 학습 데이터셋 생성 장치 및 방법은, 열영상 데이터 및 실영상 데이터를 이용하여 대상물에 대한 학습 데이터셋을 자동으로 생성함으로써, 빠른 속도로 정확한 학습 데이터를 생성할 수 있다. 이를 통해 인공지능 머신 러닝의 학습 효율은 물론, 인공지능을 접목한 서비스의 효용성을 확대시킬 수 있다.
한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.
도 1은 본 발명의 일 실시예에 따른 학습 데이터 생성 장치를 나타낸 도면이다.
도 2는 도 1에 도시된 제어장치의 구성을 개략적으로 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 열영상 데이터 및 실영상 데이터를 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 열영상 데이터에서 대상물의 바운딩 박스를 생성하는 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 열영상 데이터를 이용하여 실영상 데이터에서 바운딩 박스를 생성하는 방법을 설명하기 위한 예시도이다.
도 2는 도 1에 도시된 제어장치의 구성을 개략적으로 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 열영상 데이터 및 실영상 데이터를 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 열영상 데이터에서 대상물의 바운딩 박스를 생성하는 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 열영상 데이터를 이용하여 실영상 데이터에서 바운딩 박스를 생성하는 방법을 설명하기 위한 예시도이다.
이하, 첨부된 도면들을 참조하여 본 발명의 일 실시예에 따른 학습 데이터셋 생성 장치 및 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
또한, 본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍 가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
도 1은 본 발명의 일 실시예에 따른 학습 데이터 생성 장치를 나타낸 도면, 도 2는 도 1에 도시된 제어장치의 구성을 개략적으로 나타낸 블록도, 도 3은 본 발명의 일 실시예에 따른 열영상 데이터 및 실영상 데이터를 설명하기 위한 예시도, 도 4는 본 발명의 일 실시예에 따른 열영상 데이터에서 대상물의 바운딩 박스를 생성하는 방법을 설명하기 위한 예시도, 도 5는 본 발명의 일 실시예에 따른 열영상 데이터를 이용하여 실영상 데이터에서 바운딩 박스를 생성하는 방법을 설명하기 위한 예시도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 학습 데이터 생성 장치는, 대상물 탑재장치(100), 열영상 센서(242) 및 실영상 센서(244)가 탑재되는 이동체(200) 및 제어장치(300)를 포함할 수 있다.
대상물 탑재장치(100)는 학습 데이터를 생성하기 위한 대상물(10)을 탑재하고, 그 대상물(10)에 열을 가할 수 있다.
대상물 탑재장치(100)는 전원부(110), 가열부(120), 단열부(130) 및 냉각부(140)를 포함할 수 있다.
전원부(110)는 외부의 전원 또는 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 전원부는 예컨대, 배터리 등으로 구현될 수 있다.
가열부(120)는 전원부(110)로부터 전원을 공급받아 대상물(10)을 가열할 수 있다.
가열부(120)는 가열블록(121), 발열소자(122), 제1 온도센서(123) 및 제1 전류 제어부(124)를 포함할 수 있다.
가열블록(121)은 대상물(10)의 밑면을 관통시키도록 돌출되게 형성되고, 대상물(10)을 가열할 수 있다. 가열블록(121)은 발열소자(122)에서 발생된 열을 대상물(10)에 전달하는 것으로, 열전도성이 높은 재질 예컨대, 금속재질로 구성될 수 있다. 또한, 가열블록(121)은 상부에 대상물(10)을 끼울 수 있는 원통 형상, 및 육면체 형상 등으로 형성될 수 있다.
발열소자(122)는 가열블록(121)의 하부에 설치되어, 발열 기능을 한다. 발열소자(122)는 열선, 레이저, 블로워 및 열전 소자 등으로 구성될 수 있다.
제1 온도센서(123)는 가열블록(121)의 하부에 설치되어, 가열블록(121)의 온도를 측정하고, 측정 온도를 제1 전류 제어부(124)로 전송할 수 있다.
제1 전류 제어부(124)는 발열소자(122)와 전기적으로 연결되고, 발열소자(122)에 전류를 공급하여 가열블록(121)을 기 설정된 일정 온도까지 가열시킬 수 있다.
가열블록(121)의 온도가 크게 올라가면 대상물(10)에 문제가 발생할 수 있으므로, 이를 방지하기 위해 제1 온도센서(123)를 장착하고, 제1 전류 제어부(124)는 제1 온도센서(123)를 통해 측정된 온도에 기초하여 가열블록(121)이 일정 온도까지 올라갈 수 있도록 전류 제어를 수행할 수 있다.
단열부(130)는 가열부(120)의 외부(좌우 측면) 일정 영역에 각각 설치되어, 발열소자(122)에 의해 가열된 열이 외부로 전달되는 것을 차단할 수 있다.
가열부(120)에 의해 대상물(10)의 온도는 상승되고, 배경이 도색된 냉각판(141)은 냉각되어 있으므로, 단열부(130)는 열전달을 차단(억제)할 수 있는 재질(예컨대, 고무 등)로 구성될 수 있다.
냉각부(140)는 단열부(130)의 일측면에 설치되고, 전원부(110)로부터 전원을 공급받아 냉각 기능을 수행할 수 있다.
냉각부(140)는 냉각판(141), 제2 온도센서(143) 및 제2 전류 제어부(144)를 포함할 수 있다.
냉각판(141)은 냉각 소자가 설치되어, 전원부(110)로부터 전원을 공급받아 냉각 기능을 수행할 수 있다. 여기서, 냉각 소자는 펠티어 소자, 및 열전 소자 등으로 구성될 수 있다.
냉각판(141)은 냉각 소자에서 발생된 열을 전달하는 것으로, 열전도성이 높은 재질 예컨대, 금속재질로 구성될 수 있다.
냉각판(141)의 상부면은 특정 색상으로 도색될 수 있다. 즉, 냉각판(141)의 상부면은 대상물(10)에 대한 학습이 용이하도록 도색될 수 있다. 이때, 도색 영역(142)은 대상물(10)의 배경이 되는 영역으로, 열영상 데이터에서 대상물(10)을 용이하게 분리하기 위해 사용될 수 있다.
제2 온도센서(143)는 냉각판(141)의 하부에 설치되어, 냉각판(141)의 온도를 측정하고, 측정 온도를 제2 전류 제어부(144)로 전송할 수 있다.
제2 전류 제어부(144)는 냉각판(141)과 전기적으로 연결되고, 냉각판(141)에 전류를 공급하여 냉각판(141)을 기 설정된 일정 온도까지 냉각시킬 수 있다.
제2 전류 제어부(144)는 제2 온도센서(143)를 통해 측정된 온도에 기초하여 냉각판(141)이 일정 온도까지 냉각되도록 전류 제어를 수행할 수 있다.
상기와 같이 구성된 대상물 탑재장치(100)의 가열블록(121)에 대상물(10)을 탑재할 수 있고, 이동체(200)는 센서부(240)를 통해 대상물(10)에 대한 열영상 데이터 및 실영상 데이터를 획득할 수 있다.
이동체(200)는 제어장치(300)로부터의 제어신호에 따라 이동 및 회전하면서 센서부(240)를 통해 대상물(10)을 포함하는 열영상 데이터 및 실영상 데이터를 획득할 수 있다.
이동체(200)는 하우징(210), 샤프트(220), 센서부(240), 액추에이터(230,250,260), 및 주행부(270)를 포함할 수 있다. 또한, 이동체(200)는 제어장치(300)와 통신하기 위한 통신부(미도시), 이동체(200)의 구성을 제어하기 위한 제어부(미도시)를 더 포함할 수 있다.
하우징(210)은 직사각형 및 원통 등의 다양한 형상으로 형성되어 내부에 통신부 및 제어부가 장착될 수 있는 공간이 마련될 수 있다. 이때, 하우징(210)의 형상이나 재질은 다양하게 변형될 수 있고, 하우징(210)은 통신부 및 제어부를 외부와 차폐시킬 수 있도록 구성될 수 있다.
샤프트(220)는 하우징(210)의 상부 방향으로 결합될 수 있다.
액추에이터(230,250,260)는 샤프트(220) 및 센서부(240) 중 적어도 하나를 이동 및 회전시키는 구성으로, 제1 액추에이터(230), 제2 액추에이터(250) 및 제3 액추에이터(260)를 포함할 수 있다.
제1 액추에이터(230)는 샤트프의 일단에 설치되어, 샤프트(220)를 좌우로 이동시킬 수 있다. 즉, 제1 액추에이터(230)는 하우징(210)과 샤프트(220) 사이에 설치될 수 있고, 제어장치(300)로부터의 제어 신호에 따라 샤프트(220)를 좌우(Z축 방향)로 이동시킬 수 있다. 도면에는 도시되지 않았으나, 제1 액추에이터(230)에는 제어장치(300)로부터의 제어신호에 따라 구동하면서 좌우 이동에 필요한 구동력을 제공하기 위한 전기모터 등의 구동수단이 구비될 수 있다.
제2 액추에이터(250)는 샤프트(220)와 센서부(240) 사이에 설치되어, 샤프트(220)를 신장 수축시킬 수 있다. 제2 액추에이터(250)는 샤프트(220)와 스크류 결속 형태로 되어 있어, 샤프트(220)의 높이(y축)를 변경시킬 수 있다. 도면에는 도시되지 않았으나 제2 액추에이터(250)에는 제어장치(300)로부터의 제어신호에 따라 구동하면서 상하 이동에 필요한 구동력을 제공하기 위한 전기모터 등의 구동수단이 구비될 수 있다.
제3 액추에이터(260)는 샤프트(220)와 센서부(240)의 사이에 설치되어, 센서부(240)를 회전시킬 수 있다. 즉, 제3 액추에이터(260)는 센서부(240)의 피치(pitch), 롤(roll) 및 요(yaw) 중 적어도 하나를 변경시킬 수 있다. 제3 액추에이터(260)는 센서부(240)의 촬영방향 조절을 위해 X축, Y축 및 Z축 방향으로의 회전을 구현할 수 있다. 도면에는 도시되지 않았으나 제3 액추에이터(260)에는 제어장치(300)의 제어신호에 따라 회전구동하면서 X축, Y축 및 Z축 방향으로의 회전에 필요한 구동력을 제공하기 위한 전기모터 등의 구동수단이 구비될 수 있다. 이러한 구동수단으로는 회전각 및 회전속도 등을 정밀하게 조절할 수 있는 스테핑모터 또는 서보모터를 이용할 수 있다.
주행부(270)는 하우징(210)의 하부에 설치되고, 하우징(210)을 이동시킬 수 있다. 주행부(270)는 하우징(210)을 이동시키는 복수의 휠로 구성될 수 있고, 복수의 휠은 모터가 내장될 수 있다. 즉, 휠에는 모터가 내장되어, 제어장치(300)로부터 제어신호를 받으면, 상하 좌우로 움직일 수 있다. 이때, 휠은 Z축을 기본으로 움직이며, 필요시 좌측으로 이동하여 x축을 추가로 이동할 수 있다.
센서부(240)는 대상물(10)을 감지하고, 감지된 데이터를 제어장치(300)로 전송할 수 있다. 여기서, 대상물(10)은 학습 데이터를 생성하기 위한 객체일 수 있다.
센서부(240)는 대상물(10)을 촬영하여 열영상 데이터를 생성하는 열영상 센서(242) 및 대상물(10)을 촬영하여 실영상 데이터를 생성하는 실영상 센서(244)를 포함할 수 있다.
열영상 센서(242)와 실영상 센서(244)는 일체형으로 구성될 수 있다. 열영상 센서(242)와 실영상 센서(244)가 일체형으로 형성됨에 따라 극히 유사한 방향성을 통해서 대상물(10)을 서로 촬영하고 열영상 센서(242)는 촬영되는 대상물(10)의 온도값을 갖는 열영상 데이터를 생성하며, 실영상 센서(244)는 일반적으로 사람들이 인지하고 있는 실영상 즉, 대상물(10)에 대해서 실시간으로 객체의 형태, 객체가 갖는 색, 등이 포함되는 실영상 데이터를 생성할 수 있다. 다시 말하면, 열영상 센서(242) 및 실영상 센서(244)는 하나의 보호 케이스 내에서 동일한 방향을 바라보도록 각각 설치될 수 있다. 구체적으로, 센서부(240)는 동일한 방향을 바라보는 복수의 렌즈를 포함하되, 각 렌즈는 열영상 센서(242) 및 실영상 센서(244) 각각에 대응되어 열영상 데이터 및 실영상 데이터를 동시에 입력받을 수 있다.
열영상 센서(242)는 대상물(10)을 촬영하고, 촬영된 열영상 데이터를 제어장치로 전송할 수 있다.
실영상 센서(244)는 대상물(10)을 촬영하고, 촬영된 실영상 데이터를 제어장치(300)로 전송할 수 있다. 이러한 실영상 센서(244)는 가시광 영상 센서(미도시), 라이다 센서(미도시) 및 레이더 센서(미도시) 등을 포함할 수 있다. 가시광 영상 센서는 예컨대, 카메라나 기타 영상 데이터를 입력받을 수 있는 장치 등이 포함될 수 있다. 실영상 센서(244)는 정지영상이나 동영상 등의 실영상 데이터를 처리할 수 있으며, 동일한 대상물(10)을 포함하는 시간적으로 연속성 있는 이미지를 출력할 수 있다. 라이다 센서는 빛을 발산하고 대상물(10)에 반사되는 빛을 측정하여 대상물(10)과의 거리 및 다양한 물성을 감지하고, 이를 3D 영상으로 모델링할 수 있다. 가시광 영상 센서만을 이용하는 것보다 라이다 센서를 같이 이용함으로써 보다 정확하게 대상물(10)에 대한 학습 데이터를 생성할 수 있다.
제3 액추에이터(260)에 의해 센서부(240)는 회전할 수 있고, 열영상 센서(242) 및 실영상 센서(244)는 대상물(10)의 360도 촬영을 가능하게 할 수 있다.
열영상 센서(242)를 통해 획득된 열영상 데이터는 도 3의 (a)와 같을 수 있고, 실영상 센서(244)를 통해 획득된 실영상 데이터는 도 3의 (b)와 같을 수 있다.
한편, 본 발명의 실시예에서는 센서부(240)를 이동체(200)의 구성요소로 설명하였으나, 센서부(240)는 이동체(200)에 장착된 별도의 장치일 수도 있다.
상기와 같이 구성된 이동체(200)는 제어장치(300)로부터의 제어신호에 따라 이동 및 회전하면서 열영상 센서(242) 및 실영상 센서(244)를 통해 대상물(10)을 포함하는 열영상 데이터 및 실영상 데이터를 획득하고, 획득된 열영상 데이터 및 실영상 데이터를 제어장치(300)로 전송할 수 있다.
제어장치(300)는 이동체(200)의 구동을 제어하기 위한 제어 신호를 생성하고, 제어 신호에 따라 이동 및 회전하는 센서부(240)로부터 열영상 데이터 및 실영상 데이터를 수신하며, 열영상 데이터로부터 대상물(10)에 대한 바운딩 박스(bounding box)를 생성하고, 생성된 바운딩 박스를 실영상 데이터에 적용하여 대상물(10)에 대한 학습 데이터를 생성할 수 있다.
대상물(10)에 대한 학습 데이터를 생성하기 위해서는 다양한 각도의 위치에서 대상물(10)을 촬영할 필요가 있다. 이에, 제어장치(300)는 이동체(200)의 액추에이터(230,250,260)를 제어하여 센서부(240)를 이동 및 회전시킬 수 있고, 센서부(240)를 통해 획득된 열영상 데이터 및 실영상 데이터에서 실제 대상물(10) 영역에 바운딩 박스를 입력하여 대상물(10)에 대한 학습 데이터를 생성할 수 있다.
이러한 제어장치(300)는 도 2에 도시된 바와 같이 저장부(310), 통신부(320) 및 제어부(330)를 포함할 수 있다.
통신부(320)는 이동체(200)와의 통신을 위한 구성으로, 제어신호를 이동체(200)로 전송하거나 이동체(200)로부터 영상 데이터를 수신할 수 있다. 이러한 통신부(210)는 근거리 통신모듈, 무선 통신모듈, 이동통신 모듈, 유선 통신모듈 등 다양한 형태로 구현될 수 있다.
저장부(310)는 이동체(200)의 이동 및 회전에 대한 시나리오를 저장할 수 있다. 이 경우, 이동체(200)는 저장부(310)에 저장된 시나리오에 따라 스스로 이동 및 회전할 수 있고, 제어장치(300)는 이동체(200)로부터의 열영상 데이터 및 실영상 데이터를 이용하여 대상물(10)에 대한 학습 데이터를 자동으로 생성할 수 있다.
또한, 저장부(310)는 대상물(10)에 대한 학습 데이터셋을 저장할 수 있다.
제어부(330)는 하우징(210) 및 샤프트(220) 중 적어도 하나를 이동시키기 위한 제어 신호를 통신부(320)를 통해 전송하거나, 센서부(240)를 회전시키기 위한 제어 신호를 통신부(320)를 통해 전송할 수 있다.
제어부(330)는 액추에이터(230,250,260) 및 주행부(270) 중 적어도 하나의 구동을 제어하기 위한 제어 신호를 생성하여 액추에이터(230,250,260) 및 주행부(270) 중 적어도 하나의 구동을 제어할 수 있다. 이때, 제어부(330)는 액추에이터(230,250,260) 및 주행부(270)의 구동 시나리오를 미리 저장하고, 그 구동 시나리오에 따라 액추에이터(230,250,260) 및 주행부(270)의 구동을 제어할 수 있다. 여기서, 구동 시나리오는 이동 경로 및 회전 정보를 포함할 수 있고, 관리자에 의해 미리 설정될 수 있으나, 이동 경로가 구형태의 모양으로 퍼져나가게 만드는 것이 바람직하다.
또한, 제어부(330)는 이동체(200)의 이동 시 센서부(240)로부터 열영상 데이터 및 실영상 데이터를 수신하고, 열영상 데이터로부터 대상물(10)에 대한 바운딩 박스(bounding box)를 생성하며, 생성된 바운딩 박스를 실영상 데이터에 적용하여 대상물(10)에 대한 학습 데이터를 생성할 수 있다.
즉, 열영상 데이터 및 실영상 데이터가 수신되면, 제어부(330)는 기 설정된 임계값(임계온도)을 기준으로 열영상 데이터에서 대상물 영역과 배경 영역으로 분리할 수 있다. 열영상 데이터에서 대상물(10)은 가열된 상태이고, 배경은 냉각된 상태이므로, 제어부(330)는 열영상 데이터에서 임계값(임계온도)을 기준으로 대상물 영역과 배경 영역을 분리할 수 있다.
열영상 데이터에서 대상물 영역이 검출되면, 제어부(330)는 대상물(10)의 중심으로부터 가장 큰 X축값 및 Y축값, 가장 작은 X축값 및 Y축값을 각각 직선으로 그려 만나는 4개의 점을 검출하고, 검출된 4개의 점을 연결하여 바운딩 박스로 생성할 수 있다. 이때, 제어부(330)는 열영상 데이터에서 대상물(10)의 위치를 검출된 4개의 점의 위치로 정의할 수 있다.
열영상 데이터에서 대상물(10)에 대한 바운딩 박스가 생성되면, 제어부(330)는 열영상 데이터에서 정의된 대상물(10)에 대한 4개의 점(대상물(10)의 위치) 또는 바운딩 박스를 해당 시점의 실영상 데이터에 적용함으로써, 실영상 데이터에서 대상물(10)의 학습 데이터를 생성할 수 있다. 즉, 제어부(330)는 열영상 데이터에서 검출된 4개의 점(대상물(10)의 위치)을 실영상 데이터에 적용함으로써, 대상물(10)에 대한 바운딩 박스를 생성할 수 있다. 제어부(330)는 열영상 데이터에서 검출된 4개의 점을 해당 실영상 데이터에 매칭시킴으로써, 실영상 데이터에서 대상물(10)에 대한 바운딩 박스를 생성할 수 있다.
예를 들어, 열영상 데이터가 도 3의 (a)이고, 실영상 데이터가 도 3의 (b)라고 가정하여 설명하기로 한다. 이 경우, 열영상 데이터는 대상물(10)은 가열된 상태이고, 배경은 냉각된 상태이므로, 제어부(330)는 임계온도에 기초하여 열영상 데이터에서 도 4와 같이 대상물(A)을 검출할 수 있다. 열영상 데이터에서 대상물(A)이 검출되면, 제어부(330)는 대상물(A)을 중심으로 가장 큰 X축값 및 Y축값, 가장 작은 X축값 및 Y축값을 각각 직선으로 그려 만나는 4개의 점을 검출할 수 있다.
열영상 데이터에서 대상물(A)에 대한 4개의 점이 검출되면, 제어부(330)는 도 5에 도시된 바와 같이 검출된 4개의 점을 실영상 데이터에 매칭시켜, 도 5의 (b)와 같이 실영상 데이터에서 대상물(10)에 대한 바운딩 박스를 생성할 수 있다.
본 발명의 다른 실시예에 따르면, 열영상 데이터에서 대상물(10)이 검출되면, 제어부(330)는 대상물(10)의 외곽선을 추출하고, 추출된 외곽선을 해당 시점의 실영상 데이터에 적용함으로써, 실영상 데이터에서 대상물(10)에 대한 세그먼테이션 바운딩 박스를 생성할 수 있다.
상술한 바와 같이 제어부(330)는 실영상 데이터 내의 대상물(10)에 바운딩 박스(bounding box)를 생성하고, 바운딩 박스에 대상물(10)을 특정하는 클래스(ex. 소파, 액자, 책, 카펫, 커튼 등)를 실영상 데이터에 레이블링하여 학습 데이터 DB(미도시)에 저장할 수 있다.
한편, 본 발명의 실시예에서는 제어장치(300)를 이동체(200) 외부에 존재하는 장치로 설명하였으나, 제어장치(300)는 이동체(200) 내부에 존재하는 장치일 수도 있다.
상술한 바와 같이 자동적으로 생성한 레이블된 학습데이터를 이용하여 다양한 기계 학습에 응용할 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 학습 데이터셋 생성 장치 및 방법은, 열영상 데이터 및 실영상 데이터를 이용하여 대상물(10)에 대한 학습 데이터셋을 자동으로 생성함으로써, 빠른 속도로 정확한 학습 데이터를 생성할 수 있다. 이를 통해 인공지능 머신 러닝의 학습 효율은 물론, 인공지능을 접목한 서비스의 효용성을 확대시킬 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
10 : 대상물
100 : 대상물 탑재장치
110 : 전원부
120 : 가열부
121 : 가열블록
123 : 제1 온도센서
124 : 제1 전류 제어부
130 : 단열부
140 : 냉각부
141 : 냉각판
143 : 제2 온도센서
144 : 제2 전류 제어부
200 : 이동체
210 : 하우징
220 : 샤프트
230 : 제1 액추에이터
240 : 센서부
242 : 열영상 센서
244 : 실영상 센서
250 : 제2 액추에이터
260 : 제3 액추에이터
270 : 주행부
300 : 제어장치
310 : 저장부
320 : 통신부
330 : 제어부
100 : 대상물 탑재장치
110 : 전원부
120 : 가열부
121 : 가열블록
123 : 제1 온도센서
124 : 제1 전류 제어부
130 : 단열부
140 : 냉각부
141 : 냉각판
143 : 제2 온도센서
144 : 제2 전류 제어부
200 : 이동체
210 : 하우징
220 : 샤프트
230 : 제1 액추에이터
240 : 센서부
242 : 열영상 센서
244 : 실영상 센서
250 : 제2 액추에이터
260 : 제3 액추에이터
270 : 주행부
300 : 제어장치
310 : 저장부
320 : 통신부
330 : 제어부
Claims (15)
- 대상물에 열을 가하는 대상물 탑재장치;
열영상 센서 및 실영상 센서가 장착되고, 제어 신호에 따라 이동하면서 상기 열영상 센서 및 실영상 센서를 통해 상기 대상물 탑재장치에 탑재된 대상물의 열영상 데이터 및 실영상 데이터를 획득하는 이동체; 및
상기 이동체의 구동을 제어하기 위한 제어 신호를 생성하고, 상기 제어 신호에 따라 이동 및 회전하는 상기 열영상 센서 및 실영상 센서로부터 열영상 데이터 및 실영상 데이터를 획득하며, 상기 열영상 데이터로부터 상기 대상물을 검출하고, 상기 검출된 대상물을 상기 실영상 데이터에 적용하여 상기 대상물에 대한 바운딩 박스(bounding box)를 생성함으로써 상기 대상물에 대한 학습 데이터를 생성하는 제어장치
를 포함하는 학습 데이터셋 생성 장치.
- 제1항에 있어서,
상기 대상물 탑재장치는,
전원을 공급하는 전원부;
상기 전원부로부터 전원을 공급받아 상기 대상물을 가열하는 가열부;
상기 가열부의 측면 일정 영역에 설치되는 단열부; 및
상기 단열부의 일측면에 설치되고, 상기 전원부로부터 전원을 공급받아 냉각 기능을 수행하는 냉각부를 포함하는 것을 특징으로 하는 학습 데이터셋 생성 장치.
- 제2항에 있어서,
상기 가열부는,
상기 대상물의 밑면을 관통시키도록 돌출되게 형성되고, 상기 대상물을 가열하는 가열블록;
상기 가열블록의 하부에 설치되는 발열소자;
상기 가열블록의 하부에 설치되어, 상기 가열블록의 온도를 측정하는 제1 온도 센서; 및
상기 발열소자와 전기적으로 연결되고, 상기 발열소자에 전류를 공급하여 상기 가열블록을 기 설정된 일정 온도까지 가열시키는 제1 전류 제어부를 포함하는 것을 특징으로 하는 학습 데이터셋 생성 장치.
- 제2항에 있어서,
상기 냉각부는,
냉각 소자가 설치되는 냉각판;
상기 냉각판의 하부에 설치되어, 상기 냉각판의 온도를 측정하는 제2 온도 센서; 및
상기 냉각판과 전기적으로 연결되고, 상기 냉각판에 전류를 공급하여 상기 냉각판을 기 설정된 일정 온도까지 냉각시키는 제2 전류 제어부를 포함하되,
상기 냉각판의 상부면은 특정 색상으로 도색된 것을 특징으로 하는 학습 데이터셋 생성 장치.
- 제1항에 있어서,
상기 이동체는,
하우징;
상기 하우징의 상부 방향으로 결합되는 샤프트;
상기 샤프트의 일단에 설치되어, 상기 샤프트를 좌우로 이동시키는 제1 액추에이터;
상기 샤프트의 타단에 설치되고, 상기 열영상 센서 및 실영상 센서를 포함하는 센서부;
상기 샤프트와 상기 센서부의 사이에 설치되어, 상기 샤프트를 신장 수축시키는 제2 액추에이터;
상기 샤프트와 상기 센서부의 사이에 설치되어, 상기 센서부를 회전시키는 제3 액추에이터; 및
상기 하우징의 하부에 설치되고, 상기 하우징을 이동시키는 주행부를 포함하는 것을 특징으로 하는 학습 데이터셋 생성 장치.
- 제5항에 있어서,
상기 열영상 센서 및 상기 실영상 센서는 일체형으로 구성된 것을 특징으로 하는 특징으로 하는 학습 데이터셋 생성 장치.
- 제5항에 있어서,
상기 제3 액추에이터는,
상기 센서부의 피치(pitch), 롤(roll) 및 요(yaw) 중 적어도 하나를 변경시키는 것을 특징으로 하는 학습 데이터셋 생성 장치.
- 제5항에 있어서,
상기 주행부는,
상기 하우징을 이동시키는 복수의 휠로 구성되고,
상기 휠은 모터가 내장된 것을 특징으로 하는 학습 데이터셋 생성 장치.
- 제5항에 있어서,
상기 제어장치는,
통신부; 및
상기 이동체의 하우징 및 샤프트 중 적어도 하나를 이동시키기 위한 제어 신호를 상기 통신부를 통해 전송하거나, 상기 열영상 센서 및 실영상 센서를 회전시키기 위한 제어 신호를 상기 통신부를 통해 전송하고, 상기 이동체의 이동 시 상기 열영상 센서 및 실영상 센서로부터 열영상 데이터 및 실영상 데이터를 수신하고, 기 설정된 임계값을 기준으로 상기 열영상 데이터에서 상기 대상물을 검출하며, 상기 검출된 대상물에 대한 바운딩 박스를 생성하고, 상기 바운딩 박스를 상기 실영상 데이터에 매칭시켜 상기 실영상 데이터에서 상기 대상물에 대한 바운딩 박스를 생성하는 제어부를 포함하는 것을 특징으로 하는 학습 데이터셋 생성 장치.
- 제9항에 있어서,
상기 제어부는,
상기 검출된 대상물의 중심으로부터 가장 먼 X축값 및 Y축값, 가장 가까운 X축값 및 Y축값을 각각 직선으로 그려 만나는 4개의 점을 상기 실영상 데이터에 매칭시켜 상기 대상물에 대한 바운딩 박스를 생성하는 것을 특징으로 하는 학습 데이터셋 생성 장치.
- 제9항에 있어서,
상기 제어부는,
상기 검출된 대상물의 외곽선을 추출하고, 상기 추출된 외곽선을 상기 실영상 데이터에 매칭시켜 상기 대상물에 대한 세그먼테이션 바운딩 박스를 생성하는 것을 특징으로 하는 학습 데이터셋 생성 장치.
- 제어장치가 이동체의 구동을 위한 제어 신호를 상기 이동체로 전송하는 단계;
상기 이동체가 상기 제어 신호에 따라 이동하면서 열영상 센서 및 실영상 센서를 통해 대상물 탑재장치에 탑재된 대상물의 열영상 데이터 및 실영상 데이터를 획득하고, 상기 획득된 열영상 데이터 및 실영상 데이터를 상기 제어장치로 전송하는 단계; 및
상기 제어장치가 상기 열영상 데이터로부터 상기 대상물을 검출하고, 상기 검출된 대상물을 상기 실영상 데이터에 적용하여 상기 대상물에 대한 바운딩 박스(bounding box)를 생성함으로써 상기 대상물에 대한 학습 데이터를 생성하는 단계
를 포함하는 학습 데이터셋 생성 방법.
- 제12항에 있어서,
상기 학습 데이터를 생성하는 단계는,
상기 제어장치가 상기 이동체로부터 상기 열영상 데이터 및 실영상 데이터를 수신하는 단계;
상기 제어장치가, 기 설정된 임계값을 기준으로 상기 열영상 데이터에서 상기 대상물을 검출하고, 상기 검출된 대상물에 대한 바운딩 박스를 생성하는 단계; 및
상기 제어장치가 상기 바운딩 박스를 상기 실영상 데이터에 매칭시켜 상기 실영상 데이터에서 상기 대상물에 대한 바운딩 박스를 생성하는 단계를 포함하는 것을 특징으로 하는 학습 데이터셋 생성 방법.
- 제13항에 있어서,
상기 바운딩 박스를 생성하는 단계에서,
상기 제어장치는, 상기 검출된 대상물의 중심으로부터 가장 먼 X축값 및 Y축값, 가장 가까운 X축값 및 Y축값을 각각 직선으로 그려 만나는 4개의 점을 상기 실영상 데이터에 매칭시켜 상기 대상물에 대한 바운딩 박스를 생성하는 것을 특징으로 하는 학습 데이터셋 생성 방법.
- 제13항에 있어서,
상기 바운딩 박스를 생성하는 단계에서,
상기 제어장치는, 상기 검출된 대상물의 외곽선을 추출하고, 상기 추출된 외곽선을 상기 실영상 데이터에 매칭시켜 상기 대상물에 대한 세그먼테이션 바운딩 박스를 생성하는 것을 특징으로 하는 학습 데이터셋 생성 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210036682A KR102576990B1 (ko) | 2021-03-22 | 2021-03-22 | 학습 데이터셋 생성 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210036682A KR102576990B1 (ko) | 2021-03-22 | 2021-03-22 | 학습 데이터셋 생성 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220132087A KR20220132087A (ko) | 2022-09-30 |
| KR102576990B1 true KR102576990B1 (ko) | 2023-09-11 |
Family
ID=83451367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210036682A KR102576990B1 (ko) | 2021-03-22 | 2021-03-22 | 학습 데이터셋 생성 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102576990B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102546982B1 (ko) * | 2022-12-23 | 2023-06-26 | 한국건설기술연구원 | 딥러닝 모델을 위한 학습 데이터를 생성하기 위한 장치 및 그 방법 |
| JP2024102873A (ja) * | 2023-01-20 | 2024-08-01 | 富士通株式会社 | 情報処理プログラム，情報処理方法及び情報処理装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002156347A (ja) | 2000-11-15 | 2002-05-31 | Mitsubishi Heavy Ind Ltd | 構造物検査装置、構造物検査用搬送車、及び、構造物検査方法 |
| KR102085070B1 (ko) | 2019-06-10 | 2020-03-05 | 한국씨텍(주) | 딥러닝 기반 영상 정합 장치 및 방법 |
| JP2020194270A (ja) | 2019-05-27 | 2020-12-03 | 株式会社Ｌｉｇｈｔｂｌｕｅ Ｔｅｃｈｎｏｌｏｇｙ | 教師データ作成システム、学習済みモデル生成システム及び教師データ作成方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110016714A (ko) * | 2009-08-12 | 2011-02-18 | (주)삼호정기 | 실시간으로 가열 중인 물품의 온도를 측정할 수 있는 수단이 구비된 유도가열장치 |
| US10119863B2 (en) * | 2016-11-07 | 2018-11-06 | Siemens Energy, Inc. | Flash thermography photobox |
-
2021
- 2021-03-22 KR KR1020210036682A patent/KR102576990B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002156347A (ja) | 2000-11-15 | 2002-05-31 | Mitsubishi Heavy Ind Ltd | 構造物検査装置、構造物検査用搬送車、及び、構造物検査方法 |
| JP2020194270A (ja) | 2019-05-27 | 2020-12-03 | 株式会社Ｌｉｇｈｔｂｌｕｅ Ｔｅｃｈｎｏｌｏｇｙ | 教師データ作成システム、学習済みモデル生成システム及び教師データ作成方法 |
| KR102085070B1 (ko) | 2019-06-10 | 2020-03-05 | 한국씨텍(주) | 딥러닝 기반 영상 정합 장치 및 방법 |
Non-Patent Citations (1)
| Title |
|---|
| Yukyung Choi et al. "KAIST Multi-Spectral Day/Night Data Set for Autonomous and Assisted Driving" IEEE Transactions on Intelligent Transportation Systems ( Volume: 19, Issue: 3, March 2018 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220132087A (ko) | 2022-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11649052B2 (en) | System and method for providing autonomous photography and videography | |
| US20210133996A1 (en) | Techniques for motion-based automatic image capture | |
| CN111527463B (zh) | 用于多目标跟踪的方法和系统 | |
| KR102576990B1 (ko) | 학습 데이터셋 생성 장치 및 방법 | |
| CN109583287B (zh) | 实物识别方法及验证方法 | |
| EP3420428B1 (en) | Systems and methods for visual target tracking | |
| JP6943988B2 (ja) | 移動可能物体の制御方法、機器およびシステム | |
| CN110140347A (zh) | 深度图像供应装置和方法 | |
| WO2016054087A1 (en) | 3d tooling machine | |
| CN116194866A (zh) | 使用6dof姿态信息对准来自分离相机的图像 | |
| JP2020135623A (ja) | 物体検出装置、制御装置及び物体検出用コンピュータプログラム | |
| CN108074222A (zh) | 基于混合相机系统的高速运动物体去模糊方法及装置 | |
| EP3988895B1 (en) | Compensation of three-dimensional measuring instrument having an autofocus camera | |
| CN113306308B (zh) | 基于高精度视觉定位的便携式打印复印机的设计方法 | |
| WO2020062699A1 (en) | Systems and methods for 3-dimensional (3d) positioning of imaging device | |
| US11763491B2 (en) | Compensation of three-dimensional measuring instrument having an autofocus camera | |
| KR102573020B1 (ko) | 로봇팔을 이용한 학습 데이터셋 생성 장치 및 방법 | |
| JP2015045751A (ja) | 投影装置 | |
| US12198373B2 (en) | Scenario triggering and interaction based on target positioning and identification | |
| CN112424673A (zh) | 红外投影仪，成像设备和终端设备 | |
| TWM563310U (zh) | 可攜式雷射雕刻／切割裝置 | |
| Matsumoto et al. | AR Visualization of Thermal 3D Model by Hand-held Cameras. | |
| JP2020025170A (ja) | 情報処理装置、検出方法、制御プログラム、記録媒体 | |
| KR20220125875A (ko) | 학습 데이터셋 생성 장치 및 방법 | |
| CN117078762A (zh) | 一种虚拟现实设备、相机标定装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20210322 |
|
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20210326 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20210322 Comment text: Patent Application |
|
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20230405 Patent event code: PE09021S01D |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20230622 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20230901 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20230906 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20230906 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |