KR20230073644A - Artificial intelligence learning method for restoring holography - Google Patents
Artificial intelligence learning method for restoring holography Download PDFInfo
- Publication number
- KR20230073644A KR20230073644A KR1020210160236A KR20210160236A KR20230073644A KR 20230073644 A KR20230073644 A KR 20230073644A KR 1020210160236 A KR1020210160236 A KR 1020210160236A KR 20210160236 A KR20210160236 A KR 20210160236A KR 20230073644 A KR20230073644 A KR 20230073644A
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- holographic image
- difference value
- processor
- original
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000001093 holography Methods 0.000 title claims abstract description 38
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 11
- 230000007423 decrease Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2202—Reconstruction geometries or arrangements
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0486—Improving or monitoring the quality of the record, e.g. by compensating distortions, aberrations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 인공지능의 학습 방법에 관한 것이며, 보다 상세하게는 홀로그래피 복원을 위한 인공지능의 학습 방법에 관한 것이다. The present invention relates to an artificial intelligence learning method, and more particularly, to an artificial intelligence learning method for holography reconstruction.
이 부분에 기술된 내용은 단순히 본 명세서에 기재된 실시예에 대한 배경 정보를 제공할 뿐 반드시 종래 기술을 구성하는 것은 아니다.The content described in this section merely provides background information on the embodiments described herein and does not necessarily constitute prior art.
인공 신경망(Artificial Neural Network, ANN)은 인간의 뇌를 구성하고 있는 뉴런들을 수학적으로 모델링한 인공 뉴런들을 서로 연결하여 인공 지능을 구현한 것이다. ANN의 한 형태인 심층 인공 신경망(Deep neural network, DNN)은 인공 뉴런(노드)들이 계층화된 네트워크 구조(layered network architecture)를 갖는다. DNN은 입력층(Input layer), 출력층(Output layer) 및 입력층과 출력층 사이의 다수의 은닉층(Hidden layer)으로 구성된다. 입력층은 입력값이 입력되는 다수의 노드들로 구성되며, 입력층의 노드들은 입력층과 연결되어 있는 다음 은닉층의 노드들로 상기한 수학적 모델을 통해 계산된 출력값들을 전달한다. 은닉층의 노드들은 상기한 수학적 모델을 통해 입력값을 전송 받고, 출력값을 계산하며, 출력값을 출력층의 노드들로 전달한다.An artificial neural network (ANN) implements artificial intelligence by connecting artificial neurons that mathematically model neurons constituting the human brain. A deep neural network (DNN), a type of ANN, has a layered network architecture in which artificial neurons (nodes) are layered. DNN consists of an input layer, an output layer, and a plurality of hidden layers between the input layer and the output layer. The input layer is composed of a plurality of nodes into which input values are input, and the nodes of the input layer transfer the output values calculated through the mathematical model to nodes of the next hidden layer connected to the input layer. Nodes in the hidden layer receive input values through the above mathematical model, calculate output values, and deliver the output values to nodes in the output layer.
DNN에서 수행되는 기계 학습의 한 형태인 딥러닝(Deep learning)의 연산 과정은 주어진 DNN에서 학습 데이터를 바탕으로 계속해서 학습하여 해당 DNN의 연산 능력을 향상시키는 훈련(training) 과정과, 훈련 과정을 통해 학습된 DNN을 사용하여 새로운 입력 데이터에 대해 추론(inference)하는 과정으로 분류할 수 있다.The computational process of deep learning, a form of machine learning performed in DNN, consists of a training process in which a given DNN continuously learns based on learning data to improve the computational ability of the DNN, and a training process. It can be classified as a process of inferring new input data using the DNN learned through
딥러닝의 추론 과정은 입력 데이터를 입력층의 노드가 입력 받고, 이후 레이어의 순서에 따라 은닉층과 출력층에서 순차적으로 연산을 수행하는 전방향 전파(forward propagation) 방식으로 이루어진다. 최종적으로, 출력층 노드들은 은닉층들의 출력값을 바탕으로 추론 과정의 결론을 도출한다.The inference process of deep learning is performed in a forward propagation method in which input data are received by nodes in the input layer, and operations are sequentially performed in the hidden layer and the output layer according to the order of the subsequent layers. Finally, the output layer nodes draw conclusions of the inference process based on the output values of the hidden layers.
이러한 딥러닝 기술의 발달을 이용하여 텍스트 번역이나 이미지 분류에는 상업화가 가능한 수준의 신경망이 개발되었다. 또한, 일부 기술은 이미지의 일부가 손상된 경우에도, 손상된 영역을 추론을 통해 복구하는 기술까지 발전하게 되었다.Using the development of these deep learning technologies, commercially available neural networks have been developed for text translation or image classification. In addition, even when a part of an image is damaged, some technologies have been developed to recover the damaged area through inference.
한편, 최근에는 2차원 이미지를 넘어서 3D 이미지 제공이 가능한 홀로그래피(holography)에 대한 서비스가 다양한 곳에서 제공되고 있다.Meanwhile, recently, services for holography capable of providing 3D images beyond 2D images have been provided in various places.
도 1은 홀로그래피 이미지 데이터 생성 방법의 개략적인 참고도이다.1 is a schematic reference diagram of a method of generating holographic image data.
도 1을 참조하면, 광원(Laser)에서 출력된 광이 빔 스플리터(Beam splitter)를 통해 서로 직교하는 2개의 광으로 나누어져 참조광(Reference wave)와 물체광(Object wave)이 된다. 물체광은 물체(Object)에 조사된 후 다시 참조광과 만나게 된다. 다시 만난 참조광과 물체광은 간섭무늬를 만들게 되고, 이 간섭무늬를 기록하여 홀로그래피 이미지를 생성할 수 있다. 이후, 홀로그래피 이미지에 참조광을 조사하면, 홀로그래피 영상을 재현할 수 있다.Referring to FIG. 1 , light output from a light source (Laser) is divided into two lights orthogonal to each other through a beam splitter to become a reference wave and an object light. After the object light is irradiated to the object, it encounters the reference light again. The reference light and the object light that meet again create an interference pattern, and the holographic image can be generated by recording the interference pattern. Thereafter, when reference light is irradiated to the holographic image, the holographic image may be reproduced.
문제는 이러한 광학적 처리 과정에서 센서의 크기와 성능에 따라 홀로그래피의 품질이 달라질 수 있다는 것이다. 특히, 홀로그래피 이미지 생성 과정에서 중간에 데이터 일부가 변조 또는 손실되는 경우, 참조광을 조사하면 치명적인 결함을 가진 홀로그래피 영상으로 재현되는 문제점이 발생한다.The problem is that the quality of holography may vary depending on the size and performance of the sensor in this optical processing process. Particularly, when a part of data is modulated or lost in the middle of a holographic image generation process, when reference light is irradiated, a holographic image having fatal defects is reproduced.
본 명세서는 일부 누락 또는 변조가 있는 홀로그래피 영상 데이터를 복원할 수 있는 인공지능의 학습 방법을 제공하는 것을 목적으로 한다.An object of the present specification is to provide an artificial intelligence learning method capable of restoring holographic image data having partial omission or modulation.
본 명세서는 상기 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.This specification is not limited to the above-mentioned tasks, and other tasks not mentioned will be clearly understood by those skilled in the art from the description below.
상술한 과제를 해결하기 위한 본 명세서에 따른 홀로그래피 복원 인공지능의 학습 방법은, (a) 프로세서가 원본 홀로그래피 이미지 데이터를 메모리에 저장시키는 단계; (b) 상기 프로세서가 상기 원본 홀로그래피 이미지의 일부 영역을 가린 홀로그래피 이미지 데이터(이하 '마스크 홀로그래피 이미지 데이터')를 생성하는 단계; (c) 상기 프로세서가 상기 원본 홀로그래피 이미지 데이터를 이용하여 원본 홀로그래피 영상 데이터를 생성하는 단계; (d) 상기 프로세서가 신경망 알고리즘을 통해 상기 마스크 홀로그래피 이미지 데이터에서 가려진 영역을 복원하는 단계; (e) 상기 프로세서가 상기 (d) 단계에서 복원된 홀로그래피 이미지 데이터를 이용하여 복원된 홀로그래피 영상 데이터를 생성하는 단계; (f) 상기 프로세서가 상기 (d) 단계에서 복원된 홀로그래피 이미지 데이터와 상기 원본 홀로그래피 이미지 데이터를 비교하여 제1 차이값을 산출하는 단계; (g) 상기 프로세서가 상기 (e) 단계에서 복원된 홀로그래피 영상 데이터와 상기 원본 홀로그래피 영상 데이터를 비교하여 제2 차이값을 산출하는 단계; 및 (h) 상기 프로세서가 상기 신경망 알고리즘에 포함된 파라미터의 수치값를 수정 후 상기 (d) 단계 내지 (g) 단계를 상기 제1 차이값 또는 제2 차이값이 감소할 때까지 반복 실행하는 단계;를 포함할 수 있다.A method for learning holography reconstruction artificial intelligence according to the present specification to solve the above problems includes: (a) storing, by a processor, original holographic image data in a memory; (b) generating, by the processor, holographic image data (hereinafter referred to as 'mask holographic image data') covering a part of the original holographic image; (c) generating, by the processor, original holographic image data using the original holographic image data; (d) restoring, by the processor, an occluded area in the mask holography image data through a neural network algorithm; (e) generating, by the processor, restored holographic image data using the holographic image data restored in step (d); (f) calculating, by the processor, a first difference value by comparing the holographic image data restored in step (d) with the original holographic image data; (g) calculating, by the processor, a second difference value by comparing the holographic image data reconstructed in step (e) with the original holographic image data; and (h) repeating, by the processor, the numerical values of parameters included in the neural network algorithm and then repeating steps (d) to (g) until the first difference value or the second difference value decreases; can include
본 명세서의 일 실시예에 따르면, 상기 (b) 단계는, 상기 프로세서가 메모리에 미리 저장된 마스크 영역에 따라 마스크 홀로그래피 이미지 데이터를 생성하는 단계일 수 있다.According to one embodiment of the present specification, step (b) may be a step of generating, by the processor, mask holography image data according to a mask area previously stored in a memory.
본 명세서의 일 실시예에 따르면, 상기 (h) 단계는, 상기 프로세서가 제1 차이값과 제2 차이값의 합이 감소하여 미리 설정된 기준에 도달할 때까지 반복 실행하는 단계일 수 있다.According to one embodiment of the present specification, the step (h) may be a step in which the processor repeatedly executes the sum of the first difference value and the second difference value until a predetermined criterion is reached.
본 명세서의 일 실시예에 따르면, 상기 (h) 단계는, 상기 프로세서가 제1 차이값과 제2 차이값의 합을 아래 수식에 따라 산출하는 단계일 수 있다.According to one embodiment of the present specification, the step (h) may be a step in which the processor calculates the sum of the first difference value and the second difference value according to the formula below.
L = a * L1 + b * L2L = a * L1 + b * L2
L : 최종 차이값, L1 : 제1 차이값, L2 : 제2 차이값, a, b : 가중치 파라미터L: final difference value, L1: first difference value, L2: second difference value, a, b: weight parameters
본 명세서의 일 실시예에 따르면, 상기 (h) 단계는, 상기 프로세서가 가중치 파라미터 'a'를 1로 설정하고, 가중치 파라미터 'b'는 1/n(n은 전체 학습 횟수)씩 증가시키는 단계일 수 있다.According to one embodiment of the present specification, in the step (h), the processor sets the weight parameter 'a' to 1 and increases the weight parameter 'b' by 1/n (n is the total learning number). can be
본 명세서에 따른 홀로그래피 복원 인공지능의 학습 방법은, 컴퓨터에서 홀로그래피 복원 인공지능의 학습 방법의 각 단계들을 수행하도록 작성되어 컴퓨터로 독출 가능한 기록 매체에 기록된 컴퓨터프로그램의 형태로 구현될 수 있다.The learning method of holography reconstruction artificial intelligence according to the present specification may be implemented in the form of a computer program written to perform each step of the holography reconstruction artificial intelligence learning method in a computer and recorded on a computer-readable recording medium.
상술한 과제를 해결하기 위한 본 명세서에 따른 홀로그래피 복원 인공지능의 학습 장치는, 원본 홀로그래피 이미지 데이터를 저장한 메모리; 및 상기 원본 홀로그래피 이미지의 일부 영역을 가린 홀로그래피 이미지 데이터(이하 '마스크 홀로그래피 이미지 데이터')를 생성하고, 상기 원본 홀로그래피 이미지 데이터를 이용하여 원본 홀로그래피 영상 데이터를 생성하고, 신경망 알고리즘을 통해 상기 마스크 홀로그래피 이미지 데이터에서 가려진 영역을 복원하고, 복원된 홀로그래피 이미지 데이터를 이용하여 복원된 홀로그래피 영상 데이터를 생성하고, 복원된 홀로그래피 이미지 데이터와 상기 원본 홀로그래피 이미지 데이터를 비교하여 제1 차이값을 산출하고, 복원된 홀로그래피 영상 데이터와 상기 원본 홀로그래피 영상 데이터를 비교하여 제2 차이값을 산출하며, 상기 신경망 알고리즘에 포함된 파라미터의 수치값를 수정 후 복원 내지 차이값 산출 과정을 상기 제1 차이값 또는 제2 차이값이 감소할 때까지 반복 실행하는 프로세서;를 포함할 수 있다.A learning apparatus for holography reconstruction artificial intelligence according to the present specification for solving the above problems includes a memory storing original holographic image data; and generating holographic image data (hereinafter referred to as 'mask holographic image data') covering a part of the original holographic image, generating original holographic image data using the original holographic image data, and using a neural network algorithm to generate the mask holographic image. The occluded region in the data is restored, the restored holography image data is generated using the restored holography image data, a first difference value is calculated by comparing the restored holography image data with the original holography image data, and the restored holography image data is restored. A second difference value is calculated by comparing the image data with the original holographic image data, and after correcting the numerical values of parameters included in the neural network algorithm, the first difference value or the second difference value is reduced in a process of restoring or calculating a difference value. It may include; a processor that repeatedly executes until
본 명세서의 일 실시예에 따르면, 상기 메모리는, 원본 홀로그래피 이미지의 미리 설정된 영역을 가리기 위한 마스크 영역에 대한 데이터를 더 저장할 수 있다.According to one embodiment of the present specification, the memory may further store data about a mask area for covering a preset area of the original holographic image.
본 명세서의 일 실시예에 따르면, 상기 프로세서는 아래 수식에 따라 제1 차이값과 제2 차이값의 합을 산출하고, 그 합이 감소하여 미리 설정된 기준에 도달할 때까지 반복 실행할 수 있다.According to one embodiment of the present specification, the processor may calculate the sum of the first difference value and the second difference value according to the formula below, and repeatedly execute the calculation until the sum decreases and reaches a preset standard.
L = a * L1 + b * L2L = a * L1 + b * L2
L : 최종 차이값, L1 : 제1 차이값, L2 : 제2 차이값, a, b : 가중치 파라미터L: final difference value, L1: first difference value, L2: second difference value, a, b: weight parameters
본 명세서의 일 실시예에 따르면, 상기 프로세서는 가중치 파라미터 'a'를 1로 설정하고, 가중치 파라미터 'b'는 1/n(n은 전체 학습 횟수)씩 증가시킬 수 있다.According to an embodiment of the present specification, the processor may set the weight parameter 'a' to 1 and increase the weight parameter 'b' by 1/n (n is the total number of learning times).
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.
본 명세서의 일 측면에 따르면, 홀로그래피 영상 데이터에 일부 누락 또는 변조가 있더라도 데이터를 복원할 수 있는 인공지능을 통해 홀로그래피 영상이 품질을 향상시킬 수 있다.According to one aspect of the present specification, the quality of a holographic image can be improved through artificial intelligence capable of restoring data even if there is some omission or alteration in the holographic image data.
본 명세서의 다른 측면에 따르면, 광학 센서의 크기 또는 성능에 의해 홀로그래피 영상의 품질이 좌우되지 않으므로, 광학 센서 구성에 비용을 절감시킬 수 있다.According to another aspect of the present specification, since the quality of a holographic image is not influenced by the size or performance of the optical sensor, the cost of the optical sensor configuration can be reduced.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.
도 1은 홀로그래피 이미지 데이터 생성 방법의 개략적인 참고도이다.
도 2는 본 명세서의 일 실시예에 따른 홀로그래피 복원 인공지능의 학습 방법의 개략적인 흐름도이다.
도 3은 홀로그래피 복원 인공지능의 시뮬레이션 관련 이미지이다.1 is a schematic reference diagram of a method of generating holographic image data.
2 is a schematic flowchart of a learning method for holography reconstruction artificial intelligence according to an embodiment of the present specification.
3 is a simulation-related image of holography reconstruction artificial intelligence.
본 명세서에 개시된 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 명세서가 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 명세서의 개시가 완전하도록 하고, 본 명세서가 속하는 기술 분야의 통상의 기술자(이하 '당업자')에게 본 명세서의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 명세서의 권리 범위는 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the invention disclosed in this specification, and methods for achieving them, will become clear with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present specification is not limited to the embodiments disclosed below and may be implemented in a variety of different forms, and only the present embodiments make the disclosure of the present specification complete, and are common in the art to which the present specification belongs. It is provided to fully inform the technical person (hereinafter referred to as 'one skilled in the art') of the scope of the present specification, and the scope of rights of the present specification is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 명세서의 권리 범위를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.Terms used in this specification are for describing the embodiments and are not intended to limit the scope of the present specification. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. As used herein, "comprises" and/or "comprising" does not exclude the presence or addition of one or more other elements other than the recited elements.
명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.Like reference numerals throughout the specification refer to like elements, and “and/or” includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various components, these components are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first element mentioned below may also be the second element within the technical spirit of the present invention.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 명세서가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those skilled in the art to which this specification belongs. In addition, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless explicitly specifically defined.
이하, 첨부된 도면을 참조하여 본 명세서에 따른 홀로그래피 복원 인공지능의 학습 방법을 설명한다. 본 명세서에 따른 홀로그래피 복원 인공지능의 학습 방법의 설명에 앞서 몇 가지 용어를 다음과 같이 정의한다. 본 명세서에서 "홀로그래피 이미지"란, 물체광과 참조광이 만나서 간섭된 상태를 의미한다. 본 명세서에서 "홀로그래피 이미지 데이터"란, 상기 홀로그래피 이미지를 센서를 통해 전기적 신호로 변환된 즉, 간섭 무늬에 대한 이진 데이터를 의미한다. 본 명세서에서 "홀로그램 영상"이란, 홀로그래피 이미지에 참조광이 조사되어 3차원 영상으로 구성된 상태를 의미한다. 본 명세서에서 "홀로그램 영상 데이터"란, 홀로그램 영상에 대한 이진 데이터를 의미한다.Hereinafter, a learning method for holography reconstruction artificial intelligence according to the present specification will be described with reference to the accompanying drawings. Prior to the description of the learning method of holography reconstruction artificial intelligence according to the present specification, some terms are defined as follows. In this specification, "holographic image" means a state in which object light and reference light meet and interfere with each other. In the present specification, “holographic image data” refers to binary data of an interference fringe, that is, conversion of the holographic image into an electrical signal through a sensor. In this specification, "holographic image" refers to a state in which reference light is irradiated onto a holographic image to form a three-dimensional image. In this specification, “hologram image data” means binary data for a hologram image.
한편, 본 명세서에 따른 홀로그래피 복원 인공지능의 학습 방법을 설명함에 있어서, 본 명세서에 따른 홀로그래피 복원 인공지능의 학습 방법이 컴퓨터프로그램의 형태로 구현된 상황을 가정하고 설명하겠다. 상기 컴퓨터프로그램은 프로세서(processor)에 의해 실행되며, 상기 프로세서는 상기 이하에서 설명될 홀로그래피 복원 인공지능의 학습 방법의 각 단계를 실행하게 된다.Meanwhile, in describing the learning method of holography reconstruction artificial intelligence according to the present specification, a situation in which the learning method of holography reconstruction artificial intelligence according to the present specification is implemented in the form of a computer program will be assumed and described. The computer program is executed by a processor, and the processor executes each step of the holography restoration artificial intelligence learning method to be described below.
도 2는 본 명세서의 일 실시예에 따른 홀로그래피 복원 인공지능의 학습 방법의 개략적인 흐름도이다.2 is a schematic flowchart of a learning method for holography reconstruction artificial intelligence according to an embodiment of the present specification.
도 2를 참조하면, 먼저 단계 S10에서 프로세서는 원본 홀로그래피 이미지 데이터를 메모리에 저장시킬 수 있다. 상기 원본 홀로그래피 이미지는 이른바 인공지능의 학습 데이터이다.Referring to FIG. 2 , in step S10, the processor may store original holographic image data in a memory. The original holographic image is so-called learning data of artificial intelligence.
다음 단계 S20에서, 상기 프로세서는 상기 원본 홀로그래피 이미지의 일부 영역을 가린 홀로그래피 이미지 데이터(이하 '마스크 홀로그래피 이미지 데이터')를 생성할 수 있다. 이때, 가려지는 영역의 크기, 위치, 모양은 다양할 수 있다. 또한, 가려지는 영역의 다양성에 의해 하나의 원본 홀로그래피 이미지를 이용하여도 많은 양의 학습이 가능할 수 있다. 일 예로, 상기 메모리는 원본 홀로그래피 이미지의 미리 설정된 영역을 가리기 위한 마스크 영역에 대한 데이터를 저장할 수 있다. 이 경우, 상기 프로세서는 메모리에 미리 저장된 마스크 영역에 따라 마스크 홀로그래피 이미지 데이터를 생성할 수 있다.In the next step S20, the processor may generate holographic image data (hereinafter referred to as 'mask holographic image data') that covers a part of the original holographic image. In this case, the size, position, and shape of the covered area may vary. In addition, a large amount of learning may be possible even using one original holographic image due to the diversity of the covered area. For example, the memory may store data about a mask area for covering a preset area of the original holographic image. In this case, the processor may generate mask holography image data according to a mask area previously stored in a memory.
다음 단계 S30에서, 상기 프로세서는 상기 원본 홀로그래피 이미지 데이터를 이용하여 원본 홀로그래피 영상 데이터를 생성할 수 있다. 홀로그래피 영상은 홀로그래피 이미지에 참조광을 조사하여 생성될 수 있지만, 최근에는 참조광 없이도 홀로그래피 이미지 데이터에서 바로 홀로그래피 영상을 구성할 수 있는 프로그램이 개발되어 있다. 따라서, 상기 원본 홀로그래피 영상 데이터는 상기 프로그램을 이용하여 원본 홀로그래피 이미지 데이터에서 바로 생성될 수 있다. 한편, 홀로그래피 영상은 관찰 방향에 따라 영상의 모양이 다를 수 있는 특징이 있다. 따라서, 상기 원본 홀로그래피 영상 데이터 역시 하나의 홀로그래피 영상만 생성되는 것이 아니라, 관찰 방향에 따라 복수의 원본 홀로그래피 영상 데이터가 생성될 수 있다.In the next step S30, the processor may generate original holographic image data using the original holographic image data. A holographic image can be generated by irradiating a holographic image with reference light, but recently, a program capable of constructing a holographic image directly from holographic image data without reference light has been developed. Accordingly, the original holographic image data may be directly generated from original holographic image data using the program. Meanwhile, a holographic image has a characteristic in that the shape of the image may be different depending on the direction of observation. Accordingly, not only one holographic image is generated in the original holographic image data, but a plurality of original holographic image data may be generated according to the viewing direction.
다음 단계 S40에서, 상기 프로세서는 신경망 알고리즘을 통해 상기 마스크 홀로그래피 이미지 데이터에서 가려진 영역을 복원할 수 있다. 상기 신경망 알고리즘은 들이 계층화된 네트워크 구조를 가진 인공 신경망으로서, 신경망이 서로 연결된 형태를 수학적으로 모델링한 것을 의미한다. 본 명세서에서 신경망 알고리즘은 이미지 데이터 내 가려진 부분을 복원할 수 있는 알고리즘으로서, 예를 들어 2차원 이미지 복원 기술인 Inpainting 기술과 유사할 수 있다. 이미지를 복원하는 알고리즘에 대해서는 당업자에게 알려져 있는바, 본 명세서에서 상세할 설명은 생략한다.In the next step S40, the processor may restore the masked area in the mask holography image data through a neural network algorithm. The neural network algorithm is an artificial neural network having a layered network structure, and means that the neural networks are mathematically modeled. In the present specification, a neural network algorithm is an algorithm capable of restoring an obscured part in image data, and may be similar to, for example, a two-dimensional image restoration technology, inpainting technology. An algorithm for reconstructing an image is known to those skilled in the art, and a detailed description thereof is omitted herein.
다음 단계 S50에서, 상기 프로세서는 상기 단계 S40에서 복원된 홀로그래피 이미지 데이터를 이용하여 복원된 홀로그래피 영상 데이터를 생성할 수 있다. 이때, 과정은 단계 S30과 유사하다.In the next step S50, the processor may generate restored holographic image data using the holographic image data restored in step S40. At this time, the process is similar to step S30.
다음 단계 S60에서, 상기 프로세서는 상기 단계 S40에서 복원된 홀로그래피 이미지 데이터와 상기 원본 홀로그래피 이미지 데이터를 비교하여 제1 차이값을 산출할 수 있다. 상기 차이값을 산출하는 알고리즘은 GAN(Generative Adversarial Networks) 모델과 유사할 수 있다. GAN 모델은 당업자에게 알려진 알고리즘이므로, 상세한 설명은 생략한다. In the next step S60, the processor may calculate a first difference value by comparing the holographic image data restored in the step S40 with the original holographic image data. An algorithm for calculating the difference value may be similar to a Generative Adversarial Networks (GAN) model. Since the GAN model is an algorithm known to those skilled in the art, a detailed description thereof will be omitted.
다음 단계 S70에서, 상기 프로세서는 상기 단계 S50에서 복원된 홀로그래피 영상 데이터와 상기 원본 홀로그래피 영상 데이터를 비교하여 제2 차이값을 산출할 수 있다. 상기 차이값을 산출하는 알고리즘은 역시 GAN(Generative Adversarial Networks) 모델과 유사할 수 있다.In the next step S70, the processor may calculate a second difference value by comparing the holographic image data reconstructed in the step S50 with the original holographic image data. An algorithm for calculating the difference value may also be similar to a Generative Adversarial Networks (GAN) model.
다음 단계 S80에서, 상기 프로세서는 상기 제1 및/또는 제2 차이값이 최소값인지 판단할 수 있다. 일 예로 프로세서는 원본 데이터와 비교하여 정답이면 '1'을 출력하고, 오답이면 '0'을 출력할 수 있다. 상기 프로세서는 반복적으로 차이값을 산출하고 각 차이값이 0.5이상이면 학습이 완료된 것으로 판단할 수 있다. 또한, 상기 프로세서는 제1 차이값과 제2 차이값 중 어느 값에 가중치를 둘 것인지에 따라 다르게 학습할 수 있다. 예를 들어, 프로세서가 아래 수식에 따라 학습의 종료 여부를 판단한다고 가정해보겠다.In the next step S80, the processor may determine whether the first and/or second difference value is a minimum value. For example, the processor may compare the data with the original data, output '1' if the answer is correct, and output '0' if the answer is incorrect. The processor repeatedly calculates difference values, and when each difference value is 0.5 or more, it may be determined that learning is completed. In addition, the processor may learn differently depending on which value of the first difference value and the second difference value is to be weighted. For example, let's assume that the processor determines whether learning has ended according to the formula below.
L = a * L1 + b * L2 (a와 b는 선형적 변환)L = a * L1 + b * L2 (a and b are linear transformations)
L : 최종 차이값L: final difference
L1 : 제1 차이값L1: first difference value
L2 : 제2 차이값L2: second difference value
a, b : 가중치 파라미터a, b: weight parameters
상기 수식에서 학습 진행정도에 따라 a, b의 비율이 달라질 수 있다. 상기 프로세서는 초반 학습에서는 홀로그래피 이미지 데이터의 중요도가 크기 때문에 a = 1로 고정하고, b는 전체 학습을 100회로 가정하였을 때, 1/100으로 설정하고 매 학습 때마다 1/100씩 증가할 수 있다. 이 경우, 마지막 학습 때는 a와 b의 비율이 1:1이 될 수 있다.In the above equation, the ratio of a and b may vary according to the degree of learning progress. Since the importance of holographic image data is high in the initial learning, the processor fixes a = 1, sets b to 1/100 assuming that the entire learning is 100 times, and increases by 1/100 for each learning. . In this case, the ratio of a and b may be 1:1 at the time of the last learning.
만약, 상기 제1 및/또는 제2 차이값이 최소값인 경우(단계 S80의 'YES'), 상기 원본 홀로그래피 이미지 데이터 또는 상기 마스크 홀로그래피 이미지 데이터에 대한 학습이 완료된 것으로 판단할 수 있다. 반면, 상기 제1 및/또는 제2 차이값이 최소값이 아닌 경우(단계 S80의 'NO'), 상기 프로세서는 단계 S90으로 이행할 수 있다.If the first and/or second difference values are the minimum values ('YES' in step S80), it may be determined that learning of the original holographic image data or the mask holographic image data is completed. On the other hand, when the first and/or second difference values are not the minimum values ('NO' in step S80), the processor may proceed to step S90.
단계 S90에서, 상기 프로세서는 상기 신경망 알고리즘에 포함된 파라미터의 수치값를 수정 후 상기 단계 S40으로 이행할 수 있다, 그리고 상기 프로세서는 단계 S40 내지 단계 90을 반복 실행할 수 있다. 즉, 상기 원본 홀로그래피 이미지 데이터 또는 상기 마스크 홀로그래피 이미지 데이터에 대한 학습이 완료될 때까지 상기 신경망 알고리즘에 포함된 파라미터의 수치값을 계속 수정할 수 있다.In step S90, the processor may proceed to step S40 after correcting the numerical values of the parameters included in the neural network algorithm, and the processor may repeatedly execute steps S40 to 90. That is, numerical values of parameters included in the neural network algorithm may be continuously modified until learning of the original holographic image data or the mask holographic image data is completed.
도 3은 홀로그래피 복원 인공지능의 시뮬레이션 관련 이미지이다.3 is a simulation-related image of holography reconstruction artificial intelligence.
도 3의 (a)는 마스크 홀로그래피 이미지 데이터의 이미지의 예시이며, 도 3의 (b)는 본 명세서에 따른 학습 방법을 거친 홀로그래피 복원 인공지능으로 복원된 홀로그래피 이미지 데이터의 이미지이다. 도 3의 (c)는 복원된 홀로그래피 이미지 데이터를 이용하여 복원된 홀로그래피 영상 데이터의 홀로그래피 영상 이미지이며, 도 3의 (d)는 원본 홀로그래피 이미지 데이터를 이용하여 복원된 홀로그래피 영상 데이터의 홀로그래피 영상 이미지이다. 도 3의 (c) 및 (d)를 비교할 때, 본 명세서에 따른 홀로그래피 복원 인공지능 학습 방법을 거쳐 학습된 인공지능은 원본과 상당히 가깝게 홀로그래피 이미지 데이터를 복원할 수 있는 것을 확인할 수 있다.3(a) is an example of an image of mask holography image data, and FIG. 3(b) is an image of holography image data reconstructed by holography reconstruction artificial intelligence that has undergone a learning method according to the present specification. 3(c) is a holographic image of the holographic image data restored using the restored holographic image data, and FIG. 3(d) is a holographic image of the holographic image data reconstructed using the original holographic image data. . When comparing (c) and (d) of FIG. 3 , it can be confirmed that the artificial intelligence learned through the holography reconstruction artificial intelligence learning method according to the present specification can restore holographic image data very close to the original.
상기 프로세서는 산출 및 다양한 제어 로직을 실행하기 위해 본 발명이 속한 기술분야에 알려진 마이크로프로세서, ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로, 레지스터, 통신 모뎀, 데이터 처리 장치 등을 포함할 수 있다. 또한, 상술한 제어 로직이 소프트웨어로 구현될 때, 상기 제어부는 프로그램 모듈의 집합으로 구현될 수 있다. 이 때, 프로그램 모듈은 상기 메모리에 저장되고, 프로세서에 의해 실행될 수 있다.The processor may include a microprocessor, an application-specific integrated circuit (ASIC), other chipsets, logic circuits, registers, communication modems, data processing devices, etc. known in the art to perform calculations and various control logic. can Also, when the above-described control logic is implemented as software, the controller may be implemented as a set of program modules. At this time, the program module may be stored in the memory and executed by the processor.
상기 전술한 컴퓨터프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C/C++, C#, JAVA, Python, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The above-described computer program is C / C ++, C #, JAVA that can be read by a processor (CPU) of the computer through a device interface of the computer so that the computer reads the program and executes the methods implemented as a program. , Python, may include code coded in a computer language such as machine language. These codes may include functional codes related to functions defining necessary functions for executing the methods, and include control codes related to execution procedures necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do. In addition, these codes may further include memory reference related codes for which location (address address) of the computer's internal or external memory should be referenced for additional information or media required for the computer's processor to execute the functions. there is. In addition, when the processor of the computer needs to communicate with any other remote computer or server in order to execute the functions, the code uses the computer's communication module to determine how to communicate with any other remote computer or server. It may further include communication-related codes for whether to communicate, what kind of information or media to transmit/receive during communication, and the like.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The storage medium is not a medium that stores data for a short moment, such as a register, cache, or memory, but a medium that stores data semi-permanently and is readable by a device. Specifically, examples of the storage medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc., but are not limited thereto. That is, the program may be stored in various recording media on various servers accessible by the computer or various recording media on the user's computer. In addition, the medium may be distributed to computer systems connected through a network, and computer readable codes may be stored in a distributed manner.
이상, 첨부된 도면을 참조로 하여 본 명세서의 실시예를 설명하였지만, 본 명세서가 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다. Although the embodiments of the present specification have been described with reference to the accompanying drawings, those skilled in the art to which the present specification pertains can be implemented in other specific forms without changing the technical spirit or essential features of the present invention. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.
Claims (10)
(b) 상기 프로세서가 상기 원본 홀로그래피 이미지의 일부 영역을 가린 홀로그래피 이미지 데이터(이하 '마스크 홀로그래피 이미지 데이터')를 생성하는 단계;
(c) 상기 프로세서가 상기 원본 홀로그래피 이미지 데이터를 이용하여 원본 홀로그래피 영상 데이터를 생성하는 단계;
(d) 상기 프로세서가 신경망 알고리즘을 통해 상기 마스크 홀로그래피 이미지 데이터에서 가려진 영역을 복원하는 단계;
(e) 상기 프로세서가 상기 (d) 단계에서 복원된 홀로그래피 이미지 데이터를 이용하여 복원된 홀로그래피 영상 데이터를 생성하는 단계;
(f) 상기 프로세서가 상기 (d) 단계에서 복원된 홀로그래피 이미지 데이터와 상기 원본 홀로그래피 이미지 데이터를 비교하여 제1 차이값을 산출하는 단계;
(g) 상기 프로세서가 상기 (e) 단계에서 복원된 홀로그래피 영상 데이터와 상기 원본 홀로그래피 영상 데이터를 비교하여 제2 차이값을 산출하는 단계; 및
(h) 상기 프로세서가 상기 신경망 알고리즘에 포함된 파라미터의 수치값를 수정 후 상기 (d) 단계 내지 (g) 단계를 상기 제1 차이값 또는 제2 차이값이 감소할 때까지 반복 실행하는 단계;를 포함하는 홀로그래피 복원 인공지능의 학습 방법.(a) storing original holographic image data in a memory by a processor;
(b) generating, by the processor, holographic image data (hereinafter referred to as 'mask holographic image data') covering a part of the original holographic image;
(c) generating, by the processor, original holographic image data using the original holographic image data;
(d) restoring, by the processor, an occluded area in the mask holography image data through a neural network algorithm;
(e) generating, by the processor, restored holographic image data using the holographic image data restored in step (d);
(f) calculating, by the processor, a first difference value by comparing the holographic image data restored in step (d) with the original holographic image data;
(g) calculating, by the processor, a second difference value by comparing the holographic image data reconstructed in step (e) with the original holographic image data; and
(h) after the processor corrects the numerical value of the parameter included in the neural network algorithm, repeatedly executing steps (d) to (g) until the first difference value or the second difference value decreases; Learning method of holography reconstruction artificial intelligence including.
상기 (b) 단계는, 상기 프로세서가 메모리에 미리 저장된 마스크 영역에 따라 마스크 홀로그래피 이미지 데이터를 생성하는 단계인 홀로그래피 복원 인공지능의 학습 방법.The method of claim 1,
The step (b) is a step of generating, by the processor, mask holography image data according to a mask area previously stored in a memory.
상기 (h) 단계는, 상기 프로세서가 제1 차이값과 제2 차이값의 합이 감소하여 미리 설정된 기준에 도달할 때까지 반복 실행하는 단계인 홀로그래피 복원 인공지능의 학습 방법.The method of claim 1,
The step (h) is a step in which the processor repeatedly executes until the sum of the first difference value and the second difference value decreases to reach a preset criterion.
상기 (h) 단계는, 상기 프로세서가 제1 차이값과 제2 차이값의 합을 아래 수식에 따라 산출하는 단계인 홀로그래피 복원 인공지능의 학습 방법.
L = a * L1 + b * L2
L : 최종 차이값, L1 : 제1 차이값, L2 : 제2 차이값, a, b : 가중치 파라미터The method of claim 3,
The step (h) is a step in which the processor calculates the sum of the first difference value and the second difference value according to the formula below.
L = a * L1 + b * L2
L: final difference value, L1: first difference value, L2: second difference value, a, b: weight parameters
상기 (h) 단계는, 상기 프로세서가 가중치 파라미터 'a'를 1로 설정하고, 가중치 파라미터 'b'는 1/n(n은 전체 학습 횟수)씩 증가시키는 단계인 홀로그래피 복원 인공지능의 학습 방법.The method of claim 4,
In the step (h), the processor sets the weight parameter 'a' to 1 and increases the weight parameter 'b' by 1/n (n is the total number of learning times).
상기 원본 홀로그래피 이미지의 일부 영역을 가린 홀로그래피 이미지 데이터(이하 '마스크 홀로그래피 이미지 데이터')를 생성하고, 상기 원본 홀로그래피 이미지 데이터를 이용하여 원본 홀로그래피 영상 데이터를 생성하고, 신경망 알고리즘을 통해 상기 마스크 홀로그래피 이미지 데이터에서 가려진 영역을 복원하고, 복원된 홀로그래피 이미지 데이터를 이용하여 복원된 홀로그래피 영상 데이터를 생성하고, 복원된 홀로그래피 이미지 데이터와 상기 원본 홀로그래피 이미지 데이터를 비교하여 제1 차이값을 산출하고, 복원된 홀로그래피 영상 데이터와 상기 원본 홀로그래피 영상 데이터를 비교하여 제2 차이값을 산출하며, 상기 신경망 알고리즘에 포함된 파라미터의 수치값를 수정 후 복원 내지 차이값 산출 과정을 상기 제1 차이값 또는 제2 차이값이 감소할 때까지 반복 실행하는 프로세서;를 포함하는 홀로그래피 복원 인공지능의 학습 장치.a memory storing original holographic image data; and
Creating holographic image data (hereinafter referred to as 'mask holographic image data') covering a part of the original holographic image, generating original holographic image data using the original holographic image data, and using a neural network algorithm to generate the mask holographic image data Restoring the occluded area in , generating restored holographic image data using the restored holographic image data, comparing the restored holographic image data with the original holographic image data to calculate a first difference, and calculating the restored holographic image. Data is compared with the original holographic image data to calculate a second difference value, and after correcting the numerical value of the parameter included in the neural network algorithm, the first difference value or the second difference value decreases in the process of restoring or calculating the difference value. A holography reconstruction artificial intelligence learning device comprising: a processor that repeatedly executes until
상기 메모리는, 원본 홀로그래피 이미지의 미리 설정된 영역을 가리기 위한 마스크 영역에 대한 데이터를 더 저장한 홀로그래피 복원 인공지능의 학습 장치.The method of claim 7,
The memory further stores data on a mask area for covering a preset area of the original holographic image.
상기 프로세서는 아래 수식에 따라 제1 차이값과 제2 차이값의 합을 산출하고, 그 합이 감소하여 미리 설정된 기준에 도달할 때까지 반복 실행하는 홀로그래피 복원 인공지능의 학습 장치.
L = a * L1 + b * L2
L : 최종 차이값, L1 : 제1 차이값, L2 : 제2 차이값, a, b : 가중치 파라미터The method of claim 7,
The processor calculates the sum of the first difference value and the second difference value according to the formula below, and repeatedly executes the holography reconstruction artificial intelligence learning device until the sum decreases and reaches a preset criterion.
L = a * L1 + b * L2
L: final difference value, L1: first difference value, L2: second difference value, a, b: weight parameters
상기 프로세서는 가중치 파라미터 'a'를 1로 설정하고, 가중치 파라미터 'b'는 1/n(n은 전체 학습 횟수)씩 증가시키는 홀로그래피 복원 인공지능의 학습 장치.The method of claim 9,
The processor sets the weight parameter 'a' to 1 and increases the weight parameter 'b' by 1/n (n is the total learning number).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210160236A KR102624397B1 (en) | 2021-11-19 | 2021-11-19 | Artificial intelligence learning method for restoring holography |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210160236A KR102624397B1 (en) | 2021-11-19 | 2021-11-19 | Artificial intelligence learning method for restoring holography |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230073644A true KR20230073644A (en) | 2023-05-26 |
| KR102624397B1 KR102624397B1 (en) | 2024-01-15 |
Family
ID=86536975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210160236A KR102624397B1 (en) | 2021-11-19 | 2021-11-19 | Artificial intelligence learning method for restoring holography |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102624397B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160032296A (en) | 2014-09-15 | 2016-03-24 | 전자부품연구원 | Holographic Printer for Holographic wave-front Recording by the Sub-Hogel |
| KR20200107742A (en) * | 2019-03-06 | 2020-09-16 | 한국전자통신연구원 | System for correcting image and image correcting method thereof |
| KR102277096B1 (en) * | 2019-12-30 | 2021-07-15 | 광운대학교 산학협력단 | A digital hologram generation method using artificial intelligence and deep learning |
-
2021
- 2021-11-19 KR KR1020210160236A patent/KR102624397B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160032296A (en) | 2014-09-15 | 2016-03-24 | 전자부품연구원 | Holographic Printer for Holographic wave-front Recording by the Sub-Hogel |
| KR20200107742A (en) * | 2019-03-06 | 2020-09-16 | 한국전자통신연구원 | System for correcting image and image correcting method thereof |
| KR102277096B1 (en) * | 2019-12-30 | 2021-07-15 | 광운대학교 산학협력단 | A digital hologram generation method using artificial intelligence and deep learning |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102624397B1 (en) | 2024-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111583399B (en) | Image processing method, device, equipment, medium and electronic equipment | |
| CN112598579A (en) | Image super-resolution method and device for monitoring scene and storage medium | |
| Lee et al. | Learning to generate multi-exposure stacks with cycle consistency for high dynamic range imaging | |
| CN115115512B (en) | Training method and device for image superdivision network | |
| US20230089872A1 (en) | Information processing device, information processing method, and information processing program | |
| KR102624397B1 (en) | Artificial intelligence learning method for restoring holography | |
| KR20220154578A (en) | Image Processing Device for Image Denoising | |
| KR102549778B1 (en) | Method, server and computer program for performing pre-processing on a plurality of images related to multiview and generating a cubemap through the plurality of images | |
| JP7416170B2 (en) | Learning methods, learning devices, programs and recording media | |
| KR102665263B1 (en) | Apparatus for generating holography having glove shaped | |
| KR20210030573A (en) | Apparatus and method for controlling weather effects in marine video based on neural network | |
| Molnár et al. | Representation learning for point clouds with variational autoencoders | |
| US20230104702A1 (en) | Transformer-based shape models | |
| KR102605678B1 (en) | Method and apparatus for processing holographic image | |
| US11532122B2 (en) | Method and apparatus for processing holographic image | |
| Vercheval et al. | Variational auto-encoders without graph coarsening for fine mesh learning | |
| CN115131228A (en) | Image restoration method, system, storage medium and terminal equipment | |
| KR102251744B1 (en) | Apparatus and method for generating binary holograms based on parallel computing | |
| KR102537207B1 (en) | Method for processing image based on machine learning and apparatus therefof | |
| KR101890401B1 (en) | Apparatus, method and computer program for generating binary holograms for scenes with large depth | |
| JP2023521456A (en) | Methods for creating a virtual environment restore of a real location | |
| Mu et al. | Using digital twin to enhance Sim2real transfer for reinforcement learning in 3C assembly | |
| KR102577361B1 (en) | Method and apparatus for image dehazing via complementary adversarial learning | |
| CN116402916B (en) | Face image restoration method and device, computer equipment and storage medium | |
| KR20240107423A (en) | Method and apparatus for generating hologram based on semantic conversion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |