KR20230062862A - 이미지 처리 방법 및 장치, 디바이스, 및 컴퓨터 판독가능 저장 매체 - Google Patents
이미지 처리 방법 및 장치, 디바이스, 및 컴퓨터 판독가능 저장 매체 Download PDFInfo
- Publication number
- KR20230062862A KR20230062862A KR1020237011638A KR20237011638A KR20230062862A KR 20230062862 A KR20230062862 A KR 20230062862A KR 1020237011638 A KR1020237011638 A KR 1020237011638A KR 20237011638 A KR20237011638 A KR 20237011638A KR 20230062862 A KR20230062862 A KR 20230062862A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- difference information
- compressed
- decompressed
- target difference
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 59
- 239000011159 matrix material Substances 0.000 claims description 106
- 238000012545 processing Methods 0.000 claims description 83
- 238000007906 compression Methods 0.000 claims description 65
- 230000006835 compression Effects 0.000 claims description 64
- 230000006837 decompression Effects 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 description 30
- 238000004891 communication Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 21
- 238000004590 computer program Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000000638 solvent extraction Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000003068 static effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 108091026890 Coding region Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 출원은 이미지 처리 방법 및 장치, 디바이스, 및 컴퓨터 판독가능 저장 매체를 제공하고, 컴퓨터 비전의 분야에서 사용된다. 본 방법은: 제1 이미지 디바이스가 미가공 이미지의 압축된 이미지를 획득하고, 압축된 이미지를 압축해제하여, 제1 압축해제된 이미지를 획득하는 단계; 제1 이미지 디바이스가 미가공 이미지와 제1 압축해제된 이미지 사이의 차이 정보에 기초하여 타깃 차이 정보를 결정하는 단계; 제1 이미지 디바이스가 타깃 차이 정보를 추가로 압축하여, 압축된 타깃 차이 정보를 획득하는 단계; 및 제1 이미지 디바이스가 최종적으로 압축된 이미지와 압축된 타깃 차이 정보를 제2 이미지 디바이스에 전송하여, 제2 이미지 디바이스가 수신된 정보에 기초하여 이미지를 복원하게 하는 단계를 포함할 수 있다. 본 출원은 제2 이미지 디바이스에 의해 복원된 이미지와 미가공 이미지 사이의 정밀도 손실을 감소시키는 것을 돕는다.
Description
본 출원은 2020년 9월 17일자로 중국 지적 재산권 관리국(China National Intellectual Property Administration)에 출원되고 발명의 명칭이 "IMAGE PROCESSING METHOD AND APPARATUS, DEVICE, AND COMPUTER-READABLE STORAGE MEDIUM"인 중국 특허 출원 제202010981884.9호에 대한 우선권을 주장하며, 그 전체가 본 명세서에 참고로 포함된다.
본 출원은 컴퓨터 비전 분야에 관한 것으로, 특히, 이미지 처리 방법 및 장치, 디바이스, 및 컴퓨터 판독가능 저장 매체에 관한 것이다.
이미지 압축은 컴퓨터 비전 분야에서의 기본 기술들 중 하나로, 중복 데이터를 제거하고 이미지를 표현하는데 필요한 상당한 양의 데이터를 감소시켜, 저장 공간을 절약하는 것을 목표로 한다. 모바일 통신 기술들의 발전에 따라, 송신 대역폭을 감소시키기 위해 모바일 환경에서 이미지 압축을 구현하는 방법은 현재의 컴퓨터 비전 연구에서의 뜨거운 주제들 중 하나이다. 특히 산업 분야에서, 이미지는 산업 카메라에 의해 캡처되고, 압축되고, 서버 측에 송신된다. 서버 측에서는 이미지를 압축해제 및 분석하고, 대응하는 명령어들을 트리거하여, 제조 동안 워크피스 처리, 조립 및 검사를 제어하고 모니터링한다. 그러나, 실제 응용 프로세스에서는, 압축해제된 이미지와 미가공 이미지 사이의 정밀도 손실 에러가 크다. 그 결과, 서버 측에서의 인식에 영향을 미치고, 분석 결과에 추가로 영향을 미친다.
따라서, 압축해제된 이미지와 미가공 이미지 사이의 정밀도 손실 에러를 줄이는 방법은 해결되어야 할 긴급한 기술적 문제이다.
본 출원은 제2 이미지 디바이스에 의해 복원된 이미지와 미가공 이미지 사이의 정밀도 손실을 감소시키는 것을 돕기 위한, 이미지 처리 방법 및 장치, 디바이스, 및 컴퓨터 판독가능 저장 매체를 제공한다.
제1 양태에 따르면, 본 출원은 이미지 처리 방법을 제공하고, 이 방법은 제1 이미지 디바이스에 적용된다. 본 방법은 제1 이미지 디바이스에 의해 수행될 수 있거나, 또는 제1 이미지 디바이스 내의 장치(예를 들어, 프로세서 또는 칩)에 의해 수행될 수 있다. 본 방법은 예로서 제1 이미지 디바이스를 사용하고, 미가공 이미지의 압축된 이미지를 획득하는 단계; 압축된 이미지를 압축해제하여, 제1 압축해제된 이미지를 획득하는 단계; 타깃 차이 정보를 결정하는 단계- 타깃 차이 정보는 미가공 이미지와 제1 압축해제된 이미지 사이의 차이 정보에 기초하여 획득됨 -; 타깃 차이 정보를 압축하여, 압축된 타깃 차이 정보를 획득하는 단계; 및 압축된 이미지와 압축된 타깃 차이 정보를 제2 이미지 디바이스에 전송하는 단계를 포함할 수 있다.
제1 양태에서 제공되는 방법에 따르면, 압축된 이미지를 사용함에 있어서의 일상적인 경험이 학습될 수 있다. 미가공 이미지를 압축한 후에, 압축된 이미지는 제2 이미지 디바이스에 전송된다. 제2 이미지 디바이스는 압축된 이미지를 직접 압축해제하고, 제2 이미지 디바이스는 압축해제된 이미지를 직접 식별하고 분석할 수 있다. 수신된 압축된 이미지를 압축해제함으로써 제2 이미지 디바이스에 의해 획득된 이미지가 미가공 이미지에 대해 큰 정밀도 에러를 갖는 경우, 후속 인식 및 분석에 어느 정도 영향을 미친다. 따라서, 본 출원의 이 실시예에서는, 원래의 압축된 이미지에 기초하여, 압축된 이미지를 압축함으로써 획득된 제1 압축해제된 이미지와 미가공 이미지 사이의 타깃 차이 정보가 추가된다. 미가공 이미지와 제1 압축해제된 이미지 사이의 정밀도 손실은 타깃 차이 정보를 사용함으로써 분석을 통해 획득될 수 있어서, 제2 이미지 디바이스는 압축해제된 이미지에 대해 복원 처리를 수행하여, 더 높은 정밀도를 갖는 압축해제된 이미지를 획득하고, 압축해제된 이미지와 미가공 이미지 사이의 정밀도 손실을 감소시키고, 압축해제된 이미지의 정밀도를 개선한다. 그 후, 타깃 차이 정보는 압축되고 그 후 제2 이미지 디바이스에 전송되어, 송신될 필요가 있는 상당한 양의 데이터를 감소시킨다.
가능한 구현에서, 차이 정보와 타깃 차이 정보 둘 다는 이미지 행렬을 포함하고, 각각의 이미지 행렬은 복수의 이미지 요소 값을 포함한다. 타깃 차이 정보를 결정하는 단계는: 차이 정보에 포함된 이미지 행렬에 있고 미리 설정된 임계 범위 내에 속하는 이미지 요소 값을 미리 설정된 값으로 변경하여, 타깃 차이 정보에 포함된 이미지 행렬을 획득하는 단계를 포함한다. 본 출원의 이 실시예에서, 압축해제를 통해 획득된 제1 압축해제된 이미지를 획득한 후에, 제1 이미지 디바이스는 제1 압축해제된 이미지에 포함된 이미지 행렬과 미가공 이미지에 포함된 이미지 행렬에 대해 행렬 감산 처리를 수행하여, 제1 압축해제된 이미지와 미가공 이미지 사이의 차이 정보를 획득할 수 있다. 차이 정보를 저장하고 송신하는 프로세스에서 데이터 양을 감소시키기 위해, 2개의 이미지 사이의 큰 차이를 갖는 부분이 유지되고, 차이 정보에서의 행렬에 있고 미리 설정된 임계 범위 내에 속하는 이미지 요소 값을 미리 설정된 값으로 변경하여, 타깃 차이 정보에 포함된 이미지 행렬을 획득한다. 변경된 이미지 행렬에서, 동일한 이미지 요소 값들의 수량이 증가하여, 송신되는 상당한 양의 데이터가 감소될 수 있다는 점이 이해될 수 있다. 제2 이미지 디바이스에 의해 복원된 이미지와 미가공 이미지 사이의 정밀도 손실은 타깃 차이 정보를 사용함으로써 감소될 수 있다.
가능한 구현에서, 미가공 이미지의 압축된 이미지를 획득하는 단계는: 촬영 장치로부터 미가공 이미지를 수신하는 단계; 미가공 이미지에 대응하는 참조 이미지를 획득하는 단계; 및 참조 이미지에 기초하여 미가공 이미지를 압축하여, 압축된 이미지를 획득하는 단계를 포함한다. 본 출원의 이 실시예에서, 미가공 이미지를 압축할 때, 제1 이미지 디바이스는 촬영 장치에 의해 촬영된 미가공 이미지와 미가공 이미지에 대응하는 참조 이미지를 획득할 수 있다. 이미지는 대응하는 참조 이미지와 미가공 이미지 사이의 관계에 기초하여 압축되는데, 즉 압축은 미가공 이미지와 참조 이미지 사이의 차이 정보를 사용하여 수행된다. 이것은 미가공 이미지의 압축 효율을 개선할 수 있고, 또한 이미지가 실시간으로 압축될 필요가 있는 시나리오에서 널리 사용될 수 있다.
가능한 구현에서, 미가공 이미지의 압축된 이미지를 획득하는 단계는: 촬영을 통해 미가공 이미지를 획득하는 단계; 미가공 이미지에 대응하는 참조 이미지를 획득하는 단계; 및 참조 이미지에 기초하여 미가공 이미지를 압축하여, 압축된 이미지를 획득하는 단계를 포함한다. 본 출원의 이 실시예에서, 제1 이미지 디바이스는 촬영 장치를 포함할 수 있고, 촬영된 이미지를 미가공 이미지로서 사용하고, 압축을 위한 대응하는 참조 이미지를 획득할 수 있다. 제1 이미지 디바이스에 촬영 장치를 배치함으로써 디바이스 중복성이 감소된다. 또한, 이미지는 대응하는 참조 이미지와 미가공 이미지 사이의 관계에 기초하여 압축되는데, 즉 압축은 미가공 이미지와 참조 이미지 사이의 차이 정보를 사용하여 수행된다. 이것은 미가공 이미지의 압축 효율을 개선할 수 있고, 또한 이미지가 실시간으로 압축될 필요가 있는 시나리오에서 널리 사용될 수 있다.
가능한 구현에서, 본 방법은: 참조 이미지를 제2 이미지 디바이스에 전송하는 단계를 추가로 포함한다. 본 출원의 이 실시예에서, 미가공 이미지에 대응하는 참조 이미지가 제2 이미지 디바이스에 송신될 수 있고, 따라서 제2 이미지 디바이스는 참조 이미지를 사용하여 미가공 이미지의 압축된 이미지를 압축해제할 수 있고, 따라서 제2 이미지 디바이스는 타깃 차이 정보에 기초하여 미가공 이미지의 압축해제된 이미지를 복원하여, 더 높은 정밀도로 이미지를 획득하고, 제2 이미지 디바이스에 의해 복원된 이미지와 미가공 이미지 사이의 정밀도 손실을 감소시킬 수 있다.
제2 양태에 따르면, 본 출원의 실시예는 이미지 처리 방법을 제공하고, 이 방법은 제2 이미지 디바이스에 적용된다. 본 방법은 제2 이미지 디바이스에 의해 수행될 수 있거나, 또는 제2 이미지 디바이스 내의 장치(예를 들어, 프로세서 또는 칩)에 의해 수행될 수 있다. 본 방법은 예로서 제2 이미지 디바이스를 사용하고, 제1 이미지 디바이스로부터, 미가공 이미지의 압축된 이미지와 압축된 타깃 차이 정보를 수신하는 단계- 타깃 차이 정보는 미가공 이미지와 제1 압축해제된 이미지 사이의 차이 정보에 기초하여 획득됨 -; 압축된 이미지를 압축해제하여, 제1 압축해제된 이미지를 획득하는 단계; 및 압축된 타깃 차이 정보에 기초하여 제1 압축해제된 이미지에 대해 이미지 처리를 수행하여, 제2 압축해제된 이미지를 획득하는 단계를 포함할 수 있다.
제2 양태에서 제공되는 방법에 따르면, 제2 이미지 디바이스는 미가공 이미지의 압축된 이미지와 압축된 타깃 차이 정보를 수신하고, 압축된 이미지를 압축해제할 수 있다. 미가공 이미지의 압축된 이미지를 압축해제하는 것은 제1 디바이스에 의해 미가공 이미지를 압축하여 제1 압축해제된 이미지를 획득하는 역 동작일 수 있다. 또한, 압축된 타깃 차이 정보가 압축해제되어, 미가공 이미지와 미가공 이미지의 압축해제된 이미지(즉, 제1 압축해제된 이미지) 사이에 있고 타깃 차이 정보에 포함되는 차이 정보가 획득될 수 있다. 따라서, 제1 압축해제된 이미지를 보상하여, 더 높은 정밀도로 제2 압축해제된 이미지를 획득하고, 제2 압축해제된 이미지와 미가공 이미지 사이의 정밀도 손실을 줄일 수 있다.
가능한 구현에서, 본 방법은: 제1 이미지 디바이스로부터 미가공 이미지에 대응하는 참조 이미지를 수신하는 단계를 추가로 포함한다. 본 출원의 이 실시예에서, 제1 이미지 디바이스는 미가공 이미지에 대응하는 참조 이미지를 사용하여 미가공 이미지를 압축한다. 제1 이미지 디바이스에 의해 전송된 참조 이미지를 수신한 후에, 제2 이미지 디바이스는 참조 이미지를 사용하여 제1 압축된 이미지를 압축해제하여, 제1 압축해제된 이미지를 획득하는 역 동작을 수행할 수 있다. 이러한 방식으로, 타깃 차이 정보와 제1 압축해제된 이미지에 기초하여 이미지 처리를 수행하여, 더 높은 정밀도로 제2 압축해제된 이미지를 획득하고, 제2 압축해제된 이미지와 미가공 이미지 사이의 정밀도 손실을 감소시키고, 제2 압축해제된 이미지의 정밀도를 개선한다.
가능한 구현에서, 압축된 이미지를 압축해제하여 제1 압축해제된 이미지를 획득하는 단계는: 참조 이미지에 기초하여, 압축된 이미지를 압축해제하여 제1 압축해제된 이미지를 획득하는 단계를 포함한다. 본 출원의 이 실시예에서, 제1 이미지 디바이스는 미가공 이미지에 대응하는 참조 이미지를 이용하여 미가공 이미지를 압축하여, 압축된 이미지를 획득하고; 제2 이미지 디바이스는 압축된 이미지의 미가공 이미지에 대응하는 참조 이미지를 사용하여 압축된 이미지를 압축해제하여, 제1 압축해제된 이미지를 획득할 수 있다. 각각의 압축된 이미지에 대해, 이전 프레임의 이미지가 참조 이미지로서 사용될 수 있고, 각각의 압축된 이미지의 참조 이미지에 기초하여 압축해제를 수행하여, 압축해제된 이미지를 획득할 수 있고, 이후 타깃 차이 정보를 사용하여 압축해제된 이미지를 복원함으로써, 더 높은 정밀도로 제2 압축해제된 이미지를 획득하고, 제2 압축해제된 이미지와 미가공 이미지 사이의 정밀도 손실을 감소시킨다는 점이 이해될 수 있다.
가능한 구현에서, 타깃 차이 정보와 제1 압축해제된 이미지 둘 다는 이미지 행렬을 포함하고, 각각의 이미지 행렬은 복수의 이미지 요소 값을 포함하고; 압축된 타깃 차이 정보에 기초하여 제1 압축해제된 이미지에 대해 이미지 처리를 수행하여, 제2 압축해제된 이미지를 획득하는 단계는: 압축된 타깃 차이 정보를 압축해제하여, 타깃 차이 정보를 획득하는 단계; 제1 압축해제된 이미지에 포함된 이미지 행렬과 타깃 차이 정보에 포함된 이미지 행렬에 대해 가산 처리를 수행하여, 제2 압축해제된 이미지에 포함된 이미지 행렬을 획득하는 단계; 및 제2 압축해제된 이미지에 포함된 이미지 행렬에 기초하여 제2 압축해제된 이미지를 결정하는 단계를 포함한다. 본 출원의 이 실시예에서, 제2 이미지 디바이스는 타깃 차이 정보에 포함된 이미지 행렬과 제1 압축해제된 이미지에 포함된 이미지 행렬에 대해 행렬 가산 연산을 수행하여, 제1 압축해제된 이미지와 미가공 이미지 사이의 차이 정보를 제1 압축해제된 이미지에 추가하고, 더 높은 정밀도로 제2 압축해제된 이미지를 획득하고, 복원된 제2 압축해제된 이미지와 미가공 이미지 사이의 정밀도 손실을 감소시킬 수 있다.
제3 양태에 따르면, 본 출원의 실시예는 이미지 처리 장치를 제공한다. 이미지 처리 장치는 제1 양태에 따른 제1 이미지 디바이스를 구현하는 기능들 중 일부 또는 전부를 갖는다. 예를 들어, 장치의 기능은 본 출원의 제1 이미지 디바이스의 일부 또는 모든 실시예에서의 기능을 포함할 수 있거나, 또는 본 출원의 실시예들 중 임의의 하나를 개별적으로 구현하는 기능을 포함할 수 있다. 이러한 기능은 하드웨어에 의해 구현될 수 있거나, 또는 대응하는 소프트웨어를 실행하는 하드웨어에 의해 구현될 수 있다. 하드웨어 또는 소프트웨어는 기능에 대응하는 하나 이상의 유닛 또는 모듈을 포함한다. 이미지 처리 장치는: 미가공 이미지의 압축된 이미지를 획득하도록 구성된 획득 유닛; 압축된 이미지를 압축해제하여, 제1 압축해제된 이미지를 획득하도록 구성된 압축해제 유닛; 타깃 차이 정보를 결정하도록 구성된 결정 유닛- 타깃 차이 정보는 미가공 이미지와 제1 압축해제된 이미지 사이의 차이 정보에 기초하여 획득됨 -; 타깃 차이 정보를 압축하여, 압축된 타깃 차이 정보를 획득하도록 구성된 압축 유닛; 및 압축된 이미지 및 압축된 타깃 차이 정보를 제2 이미지 디바이스에 전송하도록 구성된 전송 유닛을 포함할 수 있다.
가능한 구현에서, 차이 정보와 타깃 차이 정보 둘 다는 이미지 행렬을 포함하고, 각각의 이미지 행렬은 복수의 이미지 요소 값을 포함한다. 결정 유닛은 구체적으로: 차이 정보에 포함된 이미지 행렬에 있고 미리 설정된 임계 범위 내에 속하는 이미지 요소 값을 미리 설정된 값으로 변경하여, 타깃 차이 정보에 포함된 이미지 행렬을 획득하도록 구성된다.
가능한 구현에서, 획득 유닛은 구체적으로: 촬영 장치로부터 미가공 이미지를 수신하고; 미가공 이미지에 대응하는 참조 이미지를 획득하고; 참조 이미지에 기초하여 미가공 이미지를 압축하여, 압축된 이미지를 획득하도록 구성된다.
가능한 구현에서, 획득 유닛은 구체적으로: 촬영을 통해 미가공 이미지를 획득하고; 미가공 이미지에 대응하는 참조 이미지를 획득하고; 참조 이미지에 기초하여 미가공 이미지를 압축하여, 압축된 이미지를 획득하도록 구성된다.
가능한 구현에서, 전송 유닛은 추가로: 참조 이미지를 제2 이미지 디바이스에 전송하도록 구성된다.
제4 양태에 따르면, 본 출원의 실시예는 이미지 처리 장치를 제공한다. 이미지 처리 장치는 제2 양태에 따른 제2 이미지 디바이스를 구현하는 기능들 중 일부 또는 전부를 갖는다. 예를 들어, 장치의 기능은 본 출원의 제2 이미지 디바이스의 일부 또는 모든 실시예에서의 기능을 포함할 수 있거나, 또는 본 출원의 실시예들 중 임의의 하나를 개별적으로 구현하는 기능을 포함할 수 있다. 이러한 기능은 하드웨어에 의해 구현될 수 있거나, 또는 대응하는 소프트웨어를 실행하는 하드웨어에 의해 구현될 수 있다. 하드웨어 또는 소프트웨어는 기능에 대응하는 하나 이상의 유닛 또는 모듈을 포함한다. 이미지 처리 장치는: 제1 이미지 디바이스로부터, 미가공 이미지의 압축된 이미지와 압축된 타깃 차이 정보를 수신하도록 구성된 수신 유닛- 타깃 차이 정보는 미가공 이미지와 제1 압축해제된 이미지 사이의 차이 정보에 기초하여 획득됨 -; 압축된 이미지를 압축해제하여, 제1 압축해제된 이미지를 획득하도록 구성된 압축해제 유닛; 압축된 타깃 차이 정보에 기초하여 제1 압축해제된 이미지에 대해 이미지 처리를 수행하여, 제2 압축해제된 이미지를 획득하도록 구성된 이미지 처리 유닛을 포함할 수 있다.
가능한 구현에서, 수신 유닛은 추가로: 제1 이미지 디바이스로부터 미가공 이미지에 대응하는 참조 이미지를 수신하도록 구성된다.
가능한 구현에서, 압축해제 유닛은 구체적으로: 참조 이미지에 기초하여, 압축된 이미지를 압축해제하여, 제1 압축해제된 이미지를 획득하도록 구성된다.
가능한 구현에서, 타깃 차이 정보와 제1 압축해제된 이미지 둘 다는 이미지 행렬을 포함하고, 각각의 이미지 행렬은 복수의 이미지 요소 값을 포함한다. 압축해제 유닛은 구체적으로: 압축된 타깃 차이 정보를 압축해제하여, 타깃 차이 정보를 획득하고; 제1 압축해제된 이미지에 포함된 이미지 행렬 및 타깃 차이 정보에 포함된 이미지 행렬에 대해 가산 처리를 수행하여, 제2 압축해제된 이미지에 포함된 이미지 행렬을 획득하고; 제2 압축해제된 이미지에 포함된 이미지 행렬에 기초하여 제2 압축해제된 이미지를 결정하도록 구성된다.
제5 양태에 따르면, 본 출원의 실시예는 컴퓨터 디바이스를 제공한다. 컴퓨터 디바이스는 프로세서를 포함하고, 프로세서는 제1 양태에서 제공된 이미지 처리 방법에서의 대응하는 기능을 구현함에 있어서 컴퓨터 디바이스를 지원하도록 구성된다. 컴퓨터 디바이스는 메모리를 추가로 포함할 수 있고, 메모리는 프로세서와 결합되도록 구성되고, 컴퓨터 디바이스에 필요한 프로그램 명령어들 및 데이터를 저장한다. 컴퓨터 디바이스는 추가로 컴퓨터 디바이스와 다른 디바이스 또는 다른 통신 네트워크 사이의 통신에 사용되는 통신 인터페이스를 포함할 수 있다.
제6 양태에 따르면, 본 출원의 실시예는 컴퓨터 디바이스를 제공한다. 컴퓨터 디바이스는 프로세서를 포함하고, 프로세서는 제2 양태에서 제공된 이미지 처리 방법에서의 대응하는 기능을 구현함에 있어서 컴퓨터 디바이스를 지원하도록 구성된다. 컴퓨터 디바이스는 메모리를 추가로 포함할 수 있고, 메모리는 프로세서와 결합되도록 구성되고, 컴퓨터 디바이스에 필요한 프로그램 명령어들 및 데이터를 저장한다. 컴퓨터 디바이스는 추가로 컴퓨터 디바이스와 다른 디바이스 또는 다른 통신 네트워크 사이의 통신에 사용되는 통신 인터페이스를 포함할 수 있다.
제7 양태에 따르면, 본 출원의 실시예는 제1 양태에서 제공되는 제1 이미지 디바이스에 의해 사용되는 컴퓨터 소프트웨어 명령어들을 저장하도록 구성되는 컴퓨터 판독가능 저장 매체를 제공한다. 컴퓨터 판독가능 저장 매체는 제1 양태를 실행하도록 설계된 프로그램을 포함한다.
제8 양태에 따르면, 본 출원의 실시예는 제2 양태에서 제공되는 제2 이미지 디바이스에 의해 사용되는 컴퓨터 소프트웨어 명령어들을 저장하도록 구성되는 컴퓨터 판독가능 저장 매체를 제공한다. 컴퓨터 판독가능 저장 매체는 제2 양태를 실행하도록 설계된 프로그램을 포함한다.
제9 양태에 따르면, 본 출원의 실시예는 컴퓨터 프로그램을 제공하고, 컴퓨터 프로그램은 명령어들을 포함하고, 컴퓨터 프로그램이 컴퓨터에 의해 실행될 때, 컴퓨터는 제1 양태에서 제1 이미지 디바이스에 의해 수행되는 절차를 수행할 수 있게 된다.
제10 양태에 따르면, 본 출원의 실시예는 컴퓨터 프로그램을 제공하고, 컴퓨터 프로그램은 명령어들을 포함하고, 컴퓨터 프로그램이 컴퓨터에 의해 실행될 때, 컴퓨터는 제2 양태에서 제2 이미지 디바이스에 의해 수행되는 절차를 수행할 수 있게 된다.
제11 양태에 따르면, 본 출원은 칩 시스템을 제공한다. 칩 시스템은 제1 양태에서의 기능을 구현함에 있어서, 예를 들어, 제1 양태에서의 이미지 처리 방법에서 정보를 생성 또는 처리함에 있어서 컴퓨터 디바이스를 지원하도록 구성된 프로세서를 포함한다. 가능한 설계에서, 칩 시스템은 메모리를 추가로 포함하고, 메모리는 제1 이미지 디바이스에 필요한 프로그램 명령어들 및 데이터를 저장하도록 구성된다. 칩 시스템은 칩을 포함할 수 있거나, 또는 칩 및 다른 개별 컴포넌트를 포함할 수 있다.
제12 양태에 따르면, 본 출원은 칩 시스템을 제공한다. 칩 시스템은 제2 양태에서의 기능, 예를 들어, 제2 양태에서의 이미지 처리 방법에서 정보를 생성 또는 처리하는 것을 구현함에 있어서 컴퓨터 디바이스를 지원하도록 구성된 프로세서를 포함한다. 가능한 설계에서, 칩 시스템은 메모리를 추가로 포함하고, 메모리는 제2 이미지 디바이스에 필요한 프로그램 명령어들 및 데이터를 저장하도록 구성된다. 칩 시스템은 칩을 포함할 수 있거나, 또는 칩 및 다른 개별 컴포넌트를 포함할 수 있다.
도 1은 본 출원의 실시예에 따른 이미지 처리 시스템의 아키텍처의 개략도이고;
도 2는 본 출원의 실시예에 따른 산업 비전 분야에서의 이미지 처리 시스템의 아키텍처의 개략도이고;
도 3은 본 출원의 실시예에 따른 이미지 처리 방법의 개략적인 흐름도이고;
도 4는 본 출원의 실시예에 따른 이미지 처리 방법이 산업 비전에 적용되는 적용 시나리오의 도면이고;
도 5a는 본 출원의 실시예에 따른 압축 전과 후의 이미지들 사이의 이미지 정밀도 손실의 개략도이고;
도 5b는 본 출원의 실시예에 따른 압축 전과 후의 이미지들 사이의 이미지 정밀도 손실의 개략도이고;
도 6은 본 출원의 실시예에 따른 이미지 처리 방법의 개략적인 타이밍도이고;
도 7은 본 출원의 실시예에 따른 이미지 처리 장치의 구조의 개략도이고;
도 8은 본 출원의 실시예에 따른 다른 이미지 처리 장치의 구조의 개략도이고;
도 9는 본 출원의 실시예에 따른 컴퓨터 디바이스의 구조의 개략도이고;
도 10은 본 출원의 실시예에 따른 다른 컴퓨터 디바이스의 구조의 개략도이다.
도 2는 본 출원의 실시예에 따른 산업 비전 분야에서의 이미지 처리 시스템의 아키텍처의 개략도이고;
도 3은 본 출원의 실시예에 따른 이미지 처리 방법의 개략적인 흐름도이고;
도 4는 본 출원의 실시예에 따른 이미지 처리 방법이 산업 비전에 적용되는 적용 시나리오의 도면이고;
도 5a는 본 출원의 실시예에 따른 압축 전과 후의 이미지들 사이의 이미지 정밀도 손실의 개략도이고;
도 5b는 본 출원의 실시예에 따른 압축 전과 후의 이미지들 사이의 이미지 정밀도 손실의 개략도이고;
도 6은 본 출원의 실시예에 따른 이미지 처리 방법의 개략적인 타이밍도이고;
도 7은 본 출원의 실시예에 따른 이미지 처리 장치의 구조의 개략도이고;
도 8은 본 출원의 실시예에 따른 다른 이미지 처리 장치의 구조의 개략도이고;
도 9는 본 출원의 실시예에 따른 컴퓨터 디바이스의 구조의 개략도이고;
도 10은 본 출원의 실시예에 따른 다른 컴퓨터 디바이스의 구조의 개략도이다.
본 기술분야의 통상의 기술자가 더 잘 이해하는 것을 돕기 위해, 본 출원에서의 일부 용어들이 먼저 설명된다.
1. 이미지 행렬
이미지 행렬은 또한 행렬 또는 이미지의 행렬로서 기술될 수 있다. 이미지 행렬은 이미지의 행렬 표현이다. 이미지 행렬의 행은 이미지의 높이에 대응하고, 이미지 행렬의 열은 이미지의 폭에 대응한다.
본 출원에서, 제1 이미지 디바이스는 2개의 행렬: 미가공 이미지에 포함된 이미지 행렬과 제1 압축해제된 이미지에 포함된 이미지 행렬에 대해 감산 연산을 수행하여 차이 정보를 획득할 수 있다. 제2 이미지 디바이스는 2개의 행렬: 제1 압축해제된 이미지에 포함된 이미지 행렬과 타깃 차이 정보에 포함된 이미지 행렬에 대해 가산 연산을 수행하여, 제2 압축해제된 이미지에 포함된 이미지 행렬을 획득할 수 있고, 그에 의해 제2 압축해제된 이미지는 제2 압축해제된 이미지에 포함된 이미지 행렬에 기초하여 획득될 수 있다.
2. 이미지 요소 값
이미지 요소 값은 또한 요소 값, 이미지의 요소 값, 이미지 행렬의 요소 값, 행렬의 요소 값, 이미지 행렬의 이미지 요소 값 또는 이미지 요소의 값으로서 기술될 수 있다. 이미지 요소 값들의 수량은 픽셀들의 수량과 동일하고, 각각의 이미지 요소 값은 이미지에서의 하나의 픽셀에 대응한다는 점이 이해될 수 있다. 이미지 행렬에서의 이미지 요소 값의 위치는 이미지에서의 픽셀의 위치에 대응하고, 이미지 요소 값은 픽셀의 그레이스케일 값이다.
본 출원에서, 제1 이미지 디바이스가 2개의 행렬: 미가공 이미지에 포함된 이미지 행렬과 제1 압축해제된 이미지에 포함된 이미지 행렬에 대해 감산 연산을 수행하여, 차이 정보를 획득하는 것은 구체적으로: 미가공 이미지에 포함된 이미지 행렬에서의 각각의 이미지 요소 값과 제1 압축해제된 이미지에 포함된 이미지 행렬에서 대응하는 행렬에서의 이미지 요소 값에 대해 감산 연산을 수행하여, 차이 정보에 포함된 이미지 행렬을 획득하는 것이다.
3. 비디오 코딩
비디오 코딩은 또한 비디오 압축으로서 기술될 수 있다. 비디오는 연속적인 이미지 프레임들을 포함한다. 인간의 눈의 시각 효과의 지속성으로 인해, 이미지 프레임 시퀀스가 특정 속도로 재생될 때, 연속적인 액션들을 갖는 비디오가 보여질 수 있다. 비디오를 더 편리하게 저장하고 송신하기 위해서는, 비디오가 코딩될 수 있다. 비디오에서 연속적인 이미지 프레임들 사이의 유사성이 극도로 높기 때문에, 비디오 코딩은 일반적으로 비디오에서 공간 중복성 및 시간 중복성을 제거하는 것이다. 일반적인 비디오 코딩 표준들은 고급 비디오 코딩(advanced video coding, H.264/AVC), 고효율 비디오 코딩(high efficiency video coding, HEVC/H.265) 등을 포함한다.
본 출원에서, 제1 이미지 디바이스는 촬영 장치에 의해 촬영된 미가공 이미지를 획득하고, 미가공 이미지를 비디오 코딩 방식으로 압축하여, 미가공 이미지의 압축된 이미지를 획득할 수 있다. 설명의 용이함을 위해, 본 출원에서, H.264 압축 기술이 설명을 위한 예로서 사용된다.
H.264 압축 기술은 공간 도메인 데이터 중복성을 감소시키기 위해서는 인트라 예측을 주로 사용하고, 시간 도메인 데이터 중복성을 감소시키기 위해서는 인터 예측(모션 추정 및 보상)을 사용하고, 잔류 데이터를 압축하기 위해서는 변환 및 양자화를 사용하고, 모션 벡터 송신 및 신호 송신에서 잔류 및 중복성을 감소시키기 위해서는 코딩을 사용한다. H.264 압축 기술을 사용하여 수행되는 이미지 압축은 주로 다음 부분들: 블록 분할, 프레임 그룹화, 인터 예측, 인트라 예측, 이산 코사인 변환, 및 코딩 압축을 포함한다.
구체적으로, 블록 분할은 매크로블록 분할과 서브블록 분할을 포함할 수 있다. 이미지에서 16×16 또는 8×8 크기의 영역을 매크로 블록으로서 사용한다. 서브블록 분할은 매크로블록으로서 사용되는 영역을 더 작은 서브블록들로 분할하는 것을 지칭할 수 있다. 매크로블록 분할과 서브블록 분할은 후속 예측 및 압축에 사용될 수 있다.
프레임 그룹화는 밀접하게 관련된 이미지 프레임들을 픽처들의 그룹(group of pictures, GOP)(하나의 이미지 시퀀스)으로 그룹화하는 것이다. 이미지 시퀀스는 3가지 타입의 이미지 프레임: 인트라-코딩된 프레임(I-프레임 인트라 픽처), 순방향 예측 코딩된 프레임(P-프레임 예측-프레임), 및 양방향 보간된 예측 프레임(B-프레임 양방향 보간된 예측 프레임)을 포함한다.
I-프레임은 압축 동안 완전한 이미지를 유지할 수 있고, 다른 이미지 프레임을 참조하여 생성될 필요가 없다. I-프레임은 다량의 이미지 정보를 포함하고, 후속 P-프레임 및 B-프레임의 참조 이미지 프레임으로서 사용될 수 있다는 점이 이해될 수 있다. P-프레임은 이미지 시퀀스로 코딩된 이미지 프레임의 시간 중복성 정보를 사용하여 송신된 상당한 양의 데이터를 압축하기 위한 코딩된 이미지이다. P-프레임은 이미지 프레임과 이전 I-프레임(또는 P-프레임) 간의 차이를 나타낸다. 디코딩 동안, 버퍼링된 이미지(I-프레임)는 최종 이미지를 생성하기 위해 현재 프레임에 의해 정의된 차이와 중첩될 필요가 있다. P-프레임은 완전한 이미지 데이터를 갖는 것이 아니라, 이전 프레임의 이미지와의 차이가 있는 데이터만을 갖는다는 점이 이해될 수 있다. 디코딩 동안, 이전의 I-프레임(또는 P-프레임)이 참조될 필요가 있고, 디코딩은 의존적으로 수행될 수 없다. P-프레임이 차이에 기초하여 송신되기 때문에, P-프레임의 압축비가 높다. B-프레임은 이미지 시퀀스 내의 코딩된 이미지 프레임 및 이미지 시퀀스에 이어지는 코딩된 이미지 프레임의 시간 중복성 정보 양자를 고려함으로써 송신되는 상당한 양의 데이터를 압축하기 위한 코딩된 이미지이다. B-프레임을 디코딩하기 위해서는, 이미지 프레임 전의 이미지 프레임 버퍼링된 이미지가 획득될 필요가 있고, 디코딩된 이미지 프레임 이미지가 또한 획득될 필요가 있다는 점이 이해될 수 있다. 최종 디코딩된 이미지는 이전 및 다음 이미지들을 현재 프레임의 데이터와 중첩시킴으로써 획득된다.
인터 예측은, 이미지 시퀀스에서, P-프레임과 이전 I-프레임 간의 이미지 차이일 수 있는, 2개의 연속적인 이미지 프레임 간의 이미지 차이를 사용하여, 동일한 부분이 제거되고, 상이한 부분만이 압축을 위한 데이터로서 저장되는 것을 나타낸다. 인트라 예측은 압축이 현재 이미지 프레임에 기초하여 수행되고, 인트라 예측이 인접한 이전 및 다음 이미지 프레임들과 무관하다는 것을 나타낸다. 인트라 예측 결과는 이미지의 동일한 프레임 내의 인접 코딩된 픽셀을 사용하여 그리고 이미지에서의 인접 픽셀들의 크로마 값들이 갑자기 변하지 않는다는 특징을 사용하여 현재 픽셀을 예측함으로써 획득된다. H.264 압축 기술은 9개의 인트라 예측 모드를 포함하고, 미가공 이미지로부터 인트라 예측 이미지를 감산함으로써 획득되는 예측 모드 및 차이가 저장될 수 있어, 미가공 이미지는 디코딩 동안 복원될 수 있다.
이산 코사인 변환(discrete cosine transform, DCT)은 획득된 차이에 대해 정수 DCT를 수행하고, 데이터 사이의 상관을 제거하고, 데이터를 추가로 압축하는데 사용될 수 있다.
코딩 압축은 데이터에 대한 무손실 압축이 수행될 수 있고 코딩 압축이 일반적으로 비디오 압축의 끝에 위치한다는 것을 나타낸다. 무손실 엔트로피 코딩은 정보 엔트로피 원리에 따라 수행될 수 있다. 엔트로피 코딩은 비디오 시퀀스를 표현하는데 사용되는 일련의 요소 심볼들을 송신 또는 저장에 사용되는 압축된 데이터 스트림으로 변환한다. 입력 심볼은 양자화된 변환 계수, 모션 벡터 정보, 예측 모드 정보 등을 포함할 수 있다. 엔트로피 코딩은 이들 비디오 요소 심볼의 통계적 중복성을 효과적으로 제거할 수 있고, 비디오 코딩의 압축 효율을 보장하는 중요한 도구들 중 하나이다. H.264에서, 코딩 압축은 콘텍스트 기반 적응 이진 산술 코딩(context-based adaptive binary arithmetic coding, CABAC)을 사용하여 수행될 수 있다.
다음에서는 본 출원의 실시예들에서 첨부 도면들을 참조하여 본 출원의 실시예들을 설명한다.
본 출원의 실시예들의 이해를 용이하게 하기 위해, 이하에서는 먼저 본 출원의 실시예들이 기초하는 이미지 처리 시스템의 아키텍처를 설명한다. 도 1은 본 출원의 실시예에 따른 이미지 처리 시스템의 아키텍처의 개략도이다. 본 출원에서의 이미지 처리 시스템의 아키텍처는 도 1의 제1 이미지 디바이스(101)와 제2 이미지 디바이스(102)를 포함할 수 있다. 제1 이미지 디바이스(101)와 제2 이미지 디바이스(102)는 네트워크를 사용하여 서로 통신할 수 있다. 제1 이미지 디바이스(101)와 제2 이미지 디바이스(102)는 이미지 처리에 관련된 임의의 컴퓨터 디바이스에 개별적으로 배치될 수 있다. 예를 들어, 제1 이미지 디바이스(101)와 제2 이미지 디바이스(102)는 클라우드 환경 내의 하나 이상의 컴퓨팅 디바이스(예를 들어, 중앙 서버) 또는 에지 환경 내의 하나 이상의 컴퓨팅 디바이스(에지 컴퓨팅 디바이스)에 개별적으로 배치될 수 있다. 에지 컴퓨팅 디바이스는 서버일 수 있다. 클라우드 환경은 클라우드 서비스 제공자에 의해 소유되고 컴퓨팅, 저장, 및 통신 자원을 제공하도록 구성되는 중앙 컴퓨팅 디바이스 클러스터이다. 클라우드 환경에는, 많은 저장 자원들 및 컴퓨팅 자원들이 있다. 에지 환경은 미가공 데이터 수집 디바이스에 지리적으로 가깝고 컴퓨팅, 저장, 및 통신 자원을 제공하는 데 사용되는 에지 컴퓨팅 디바이스 클러스터이다. 대안적으로, 본 출원에서의 타깃 추적 시스템은 하나 이상의 단말 디바이스에 배치될 수 있다. 예를 들어, 타깃 추적 시스템은 하나의 단말 디바이스에 배치될 수 있다. 단말 디바이스는 특정 컴퓨팅, 저장, 및 통신 자원을 갖고, 컴퓨터, 차량 내 단말기, 모바일 폰, 태블릿 컴퓨터, 노트북 컴퓨터, 팜톱 컴퓨터, 모바일 인터넷 디바이스(mobile internet device, MID), 게이트웨이 등일 수 있다.
구체적으로, 제1 이미지 디바이스(101)는 미가공 이미지의 압축된 이미지를 압축해제하고, 미가공 이미지와 압축해제를 통해 획득된 제1 압축된 이미지 사이의 타깃 차이 정보를 획득하고, 타깃 차이 정보를 압축하고, 미가공 이미지와 압축된 타깃 차이 정보를 제2 이미지 디바이스(102)에 전송할 수 있다. 제2 이미지 디바이스(102)는 수신된 압축된 이미지 및 압축된 타깃 차이 정보를 압축해제하여, 타깃 차이 정보 및 제1 압축해제된 이미지를 획득하고, 압축해제를 통해 획득된 타깃 차이 정보를 사용함으로써 제1 압축해제된 이미지를 보상하여, 더 높은 정밀도를 갖는 제2 압축해제된 이미지가 획득될 수 있다.
도 1에 도시된 바와 같이, 이미지 처리 시스템은 촬영 장치(103)를 추가로 포함할 수 있고, 촬영 장치(103)는 네트워크를 사용하여 제1 이미지 디바이스(101)와 통신할 수 있다. 제1 이미지 디바이스는 촬영 장치(103)에 의해 촬영된 미가공 이미지를 수신하고, 미가공 이미지를 압축하여, 미가공 이미지의 압축된 이미지를 획득할 수 있다. 촬영 장치(103)는 제1 이미지 디바이스(101)에 배치될 수 있거나, 또는 제1 이미지 디바이스(101) 외부에 배치될 수 있다는 점에 유의해야 한다. 촬영 장치(103)는 카메라, 적외선 카메라, 레이저 레이더 등을 포함할 수 있지만 이에 제한되지 않는다.
도 1의 이미지 처리 시스템의 아키텍처는 본 출원의 실시예들에서의 예시적인 구현일 뿐이라는 점이 이해될 수 있다. 본 출원의 실시예들에서의 이미지 처리 시스템의 아키텍처는 이미지 처리 시스템의 전술한 아키텍처를 포함하지만 이에 제한되지 않는다.
본 출원의 실시예들에서 제공되는 이미지 처리 방법에 따르면, 압축 전과 후의 이미지들 사이의 손실 에러가 추적되고 감소될 수 있다. 본 출원에서 설명되는 이미지 처리 방법은 특정 기능을 구현하기 위해 셀프 드라이빙, 증강 현실(augmented reality, AR), 산업 비전, 및 의료 이미지 처리와 같은 많은 분야에서 사용될 수 있다.
예를 들어, 본 출원에서의 이미지 처리 시스템은 산업 비전 분야에서 사용될 수 있다.
산업 비전 분야는 산업 자동 생산 라인에 시각 시스템을 추가하는 것, 이미지를 캡처하는 것에 의해 인간 시각 기능을 시뮬레이션하는 것, 정보를 추출하는 것, 및 정보를 처리하는 것, 산업 자동 생산 라인 상의 워크피스를 검출, 측정, 및 제어하는 것, 수동 검사를 대체하는 것에 의해 생산 품질 및 생산을 개선하는 것을 지칭한다. 예를 들어, 공장에서 파이프라인의 컨베이어 벨트 상의 워크피스의 이미지가 획득될 수 있고, 이미지 내의 워크피스가 식별되고 분석된다. 컨베이어 벨트 상의 무자격 워크피스가 검출되어, 제어 명령어들을 생성할 수 있다. 제어 명령어들은 프로그래밍가능한 로직 제어기(programmable logic controller, PLC)를 사용하여, 무자격 워크피스를 컨베이어 벨트 밖으로 이동시키기 위한 기계적 암(mechanical arm)을 제어하기 위해 사용될 수 있다. 그러나, 산업 분야에서의 현재 이미지 처리는 공동 사진 전문가 그룹(joint photographic experts group, JPEG) 포맷의 압축 알고리즘에 기초한다. 이 압축 알고리즘에서의 양자화 테이블은 인간의 눈 지각에 기초하여 설계된다. 인간의 눈은 저주파수 부분보다 고주파수 부분에 덜 민감하기 때문에, 압축을 통해 획득된 이미지는 미가공 이미지와 비교하여 예상치 못한 정밀도 손실을 갖는다. 또한, 고주파수 부분은 후속 이미지 인식 및 분석을 위해 추출될 필요가 있는 코너 포인트, 에지, 및 라인과 같은 특징들을 어느 정도 포함한다. 이것은 인식 정밀도 차이를 야기하고 분석 결과에 영향을 미친다.
이 경우, 압축된 이미지에 기초하여, 미가공 이미지와 압축된 이미지를 압축해제함으로써 획득된 이미지 사이의 차이 정보가 결정될 수 있어서, 압축해제된 이미지가 획득된 후에, 압축 프로세스에서 손실된 정밀도가 차이 정보를 사용하여 보상될 수 있다. 또한, 차이 정보의 압축은 또한 압축해제된 이미지의 정밀도가 개선되면서 송신된 상당한 양의 데이터가 감소되고 송신 레이턴시가 감소되는 것을 보장할 수 있다. 도 2는 본 출원의 실시예에 따른 산업 비전 분야에서의 이미지 처리 시스템의 아키텍처의 개략도이다. 도 2에 도시된 바와 같이, 본 출원의 이미지 처리 시스템의 아키텍처는 제1 이미지 디바이스(201)와 제2 이미지 디바이스(202)를 포함할 수 있다. 촬영 장치(201a)와 산업 게이트웨이(201b)는 제1 이미지 디바이스(201)에 배치될 수 있다. 촬영 장치(201a)는 산업 카메라일 수 있고, 제2 이미지 디바이스(202)는 모바일 에지 컴퓨팅(mobile edge computing, MEC) 서버일 수 있다. 제1 이미지 디바이스(201)는 제2 이미지 디바이스(202)에 대한 유선 또는 무선 통신 접속을 설정할 수 있다. 제1 이미지 디바이스(201)에서, 촬영 장치(201a)와 산업 게이트웨이(201b)는 또한 유선 또는 무선 통신 접속을 가질 수 있다. 전술한 통신 접속 방식은 무선 충실도(wireless fidelity, Wi-Fi), 블루투스, 근접장 통신(near field communication, NFC) 등을 포함할 수 있지만, 이에 제한되지 않는다. 제1 이미지 디바이스(201)의 촬영 장치(201a)가 산업 게이트웨이(201b)에 대한 무선 통신 접속을 확립하거나 또는 제1 이미지 디바이스(201)가 제2 이미지 디바이스(202)에 대한 무선 통신 접속을 확립할 때, 본 출원의 이 실시예에서 제공되는 이미지 처리 시스템은 네트워크 디바이스를 추가로 포함할 수 있다. 네트워크 디바이스는 액세스 네트워크 디바이스, 기지국, 무선 액세스 포인트(wireless access point, AP) 등일 수 있다. 5G 분야에서 사용될 때, 촬영 장치(201a)와 산업 게이트웨이(201b)는 GigE Vision 프로토콜을 사용하여 그리고 기가비트 이더넷 인터페이스를 통해 고속 이미지 송신을 수행할 수 있다.
가능한 구현에서, 촬영 장치(201a)는 타깃 객체(예를 들어, 파이프라인의 컨베이어 벨트 상의 워크피스)의 미가공 이미지를 캡처하고, 미가공 이미지를 산업 게이트웨이(201b)에 전송할 수 있다. 산업 게이트웨이(201b)는: 획득된 미가공 이미지를 압축하여, 제1 압축된 이미지를 획득하고; 제1 압축된 이미지를 압축해제하여, 제1 압축해제된 이미지를 획득하고; 미가공 이미지와 제1 압축해제된 이미지 사이의 차이 정보에 기초하여 타깃 차이 정보를 획득하고; 타깃 차이 정보를 압축하여, 압축된 타깃 차이 정보를 획득하고; 압축된 이미지와 압축된 타깃 차이 정보를 MEC 서버(즉, 제2 이미지 디바이스(202))에 전송하도록 구성될 수 있다. 또한, 산업 게이트웨이(201b)가 압축된 이미지와 압축된 타깃 차이 정보를 무선으로 송신할 때, 압축된 이미지와 압축된 타깃 차이 정보는 기지국을 사용하여 사용자 평면 기능(user plane function, UPF)에 포워딩될 수 있고, UPF는 압축된 이미지와 압축된 타깃 차이 정보를 에지 컴퓨팅 서버 MEC 서버에 포워딩한다.
가능한 구현에서, 이미지 처리 시스템의 촬영 장치(201a)는 타깃 객체의 미가공 이미지를 캡처하고, 미가공 이미지를 직접 압축하여, 압축된 이미지를 획득하고; 추가로, 압축된 이미지를 압축해제하여, 제1 압축해제된 이미지를 획득하고; 그 다음에 미가공 이미지와 제1 압축해제된 이미지 사이의 차이 정보에 기초하여 타깃 차이 정보를 획득하고; 타깃 차이 정보를 압축하여, 압축된 타깃 차이 정보를 획득할 수 있다. 촬영 장치(201a)는 압축된 이미지와 압축된 타깃 차이를 기지국을 사용하여 UPF에 포워딩하고, 그 후 압축된 이미지와 압축된 타깃 차이 정보를 UPF를 사용하여 MEC 서버에 전송한다.
에지 컴퓨팅 서버는 압축된 이미지와 압축된 타깃 차이 정보를 수신하고, 압축된 이미지와 압축된 타깃 차이 정보를 압축해제하여, 제1 압축해제된 이미지와 타깃 차이 정보를 획득하고, 그 후 타깃 차이 정보를 사용함으로써 제1 압축해제된 이미지에 대해 이미지 처리를 수행하여, 제2 압축해제된 이미지를 획득한다. 또한, 제2 압축해제된 이미지를 식별, 분석 및 처리하여 결과를 획득할 수 있으며, 결과를 사용하여 제어 명령어들을 트리거한다. 예를 들어, 에지 컴퓨팅 서버에 의해 생성된 제어 명령어들은 무자격 워크피스를 식별하기 위한 명령어들일 수 있거나, 또는 무자격 워크피스를 식별하고 무자격 워크피스를 관리 애플리케이션에 보고하기 위한 명령어들 등일 수 있다.
도 2의 이미지 처리 시스템의 아키텍처는 본 출원의 실시예들에서의 예시적인 구현일 뿐이라는 점이 이해될 수 있다. 본 출원의 실시예들에서의 이미지 처리 시스템의 아키텍처는 이미지 처리 시스템의 전술한 아키텍처를 포함하지만 이에 제한되지 않는다.
도 1에 제공된 이미지 처리 시스템의 아키텍처 및 도 2에 제공된 다른 이미지 처리 시스템의 아키텍처에 기초하여, 그리고 본 출원에서 제공된 이미지 처리 방법을 참조하여, 본 출원에서 제안된 기술적 문제가 구체적으로 분석되고 해결된다. 도 3은 본 출원의 실시예에 따른 이미지 처리 방법의 개략적인 흐름도이다. 이 방법은 도 1 또는 도 2의 전술한 이미지 처리 시스템의 아키텍처에서 사용될 수 있다. 도 1 또는 도 2의 제1 이미지 디바이스는 도 3에 도시된 방법 절차에서의 단계 S301 내지 단계 S305를 지원하고 수행하도록 구성될 수 있고, 도 1 또는 도 2의 제2 이미지 디바이스는 도 3에 도시된 방법 절차에서 단계 S306 및 단계 S307을 지원하고 수행하도록 구성될 수 있다. 이 방법은 다음의 단계들 S301 내지 S307을 포함할 수 있다.
단계 S301: 제1 이미지 디바이스는 미가공 이미지의 압축된 이미지를 획득한다.
구체적으로, 제1 이미지 디바이스는 촬영 장치에 의해 전송된 미가공 이미지를 획득하고, 미가공 이미지를 압축하여 미가공 이미지의 압축된 이미지를 획득할 수 있다. 제1 이미지 디바이스가 촬영 장치를 포함하면, 제1 이미지 디바이스는 또한 타깃 객체를 촬영하여 미가공 이미지를 획득할 수 있다. 또한, 제1 이미지 디바이스는 미가공 이미지를 압축하여 미가공 이미지의 압축된 이미지를 획득한다.
이미지 압축 방법은 압축에 사용될 수 있다. 하드웨어 인코더는 제1 이미지 디바이스에 내장될 수 있고, 미가공 이미지는 H.264, H.265 및 JPEG와 같은 압축 기술들을 사용하여 압축될 수 있다. 파이프라인 상의 카메라에 의해 촬영된 워크피스들은 매우 유사하다. 따라서, 산업 분야에서 더 잘 사용되기 위해, 본 출원의 이 실시예에서의 압축 방법에서는, 비디오 압축 해결책이 압축을 위해 추가로 사용될 수 있다. 예를 들어, 본 출원에서의 미가공 이미지는 고급 비디오 코딩(advanced video coding, AVC/H.264)을 사용하여 압축될 수 있거나, 또는 본 출원에서의 미가공 이미지는 고효율 비디오 코딩(high efficiency video coding, HEVC/H.265)을 사용하여 압축될 수 있다. 이것은 여기에서 제한되지 않는다.
H.264 또는 H.265 압축 알고리즘을 사용하여 이미지를 압축하는 프로세스에서는, 이미지들의 복수의 프레임이 하나의 픽처 그룹 GOP로 그룹화되고, 픽처 그룹은 I-프레임, P-프레임, 및 B-프레임을 포함한다는 점에 유의해야 한다. 본 출원의 이 실시예에서, 하나의 GOP는 하나의 I-프레임과 복수의 P-프레임을 포함할 수 있다. 미가공 이미지의 첫번째 프레임에 대한 압축 동안, 미리 설정된 참조 이미지가 획득될 수 있고, 미리 설정된 참조 이미지는 I-프레임으로서 사용되고, 미가공 이미지의 첫번째 프레임은 압축을 위한 P-프레임으로서 사용된다. 유추에 의해, 복수의 후속 이미지 프레임은 각각 이미지 프레임의 이전 이미지 프레임을 참조 이미지로서 사용하여 압축되어, 멀티-프레임 원본 이미지의 압축된 이미지를 획득할 수 있다.
예를 들어, 본 방법은 산업 비전 분야에서 사용될 수 있다. 도 4를 함께 참조한다. 도 4는 본 출원의 실시예에 따른 이미지 처리 방법이 산업 비전에서 사용되는 적용 시나리오의 도면이다. 도 4에 도시된 바와 같이, 본 방법이 산업 분야에서 사용될 때, 워크피스, 예를 들어 도 4에 도시된 4개의 워크피스가 컨베이어 벨트 상에서 이송된다. 제1 이미지 디바이스는 촬영 장치와 산업 게이트웨이를 포함할 수 있다. 촬영 장치는 컨베이어 벨트 상에서 워크피스를 촬영하여, 멀티-프레임 원본 이미지를 획득하고, 미가공 이미지를 압축하여, 미가공 이미지의 압축된 이미지를 획득할 수 있다. 대안적으로, 촬영 장치에 의해 촬영된 미가공 이미지는 제1 이미지 디바이스에서의 산업 게이트웨이에 전송될 수 있고, 산업 게이트웨이는 미가공 이미지를 압축하여 미가공 이미지의 압축된 이미지를 획득한다. 도 4에 도시된 바와 같이, 촬영 장치에 의해 촬영된 미가공 이미지의 미가공 이미지의 첫번째 프레임은 P1이다. 미가공 이미지의 첫번째 프레임 P1은 미가공 이미지의 첫번째 프레임 P1의 압축된 이미지를 획득하기 위해, 클라우드로부터의 국지적으로 저장된 참조 이미지를 참조하여 압축된다. 또한, 미가공 이미지의 첫번째 프레임 P1은 압축을 위해 미가공 이미지의 두번째 프레임 P2에 대응하는 참조 이미지로서 사용되어, 미가공 이미지의 두번째 프레임 P2의 압축된 이미지를 획득할 수 있고; 미가공 이미지의 두번째 프레임 P2는 압축을 위해 미가공 이미지의 세번째 프레임 P3에 대응하는 참조 이미지로서 사용되어, 미가공 이미지의 각각의 프레임의 압축된 이미지가 획득될 때까지, 미가공 이미지의 세번째 프레임 P3의 압축된 이미지를 획득할 수 있다.
단계 S302: 제1 이미지 디바이스는 압축된 이미지를 압축해제하여, 제1 압축해제된 이미지를 획득한다.
구체적으로, 제1 이미지 디바이스는 압축의 역 동작에 기초하여 압축된 이미지를 압축해제하여, 제1 압축해제된 이미지를 획득할 수 있다. H.264 압축 방법이 일례로서 사용된다. 엔트로피 코딩에 대해 압축해제를 개별적으로 수행할 수 있고, 인트라 예측 및 인터 예측에 대해 압축해제를 개별적으로 수행하여, 미가공 이미지의 제1 압축해제된 이미지를 획득할 수 있다. 예를 들어, 엔트로피 코딩에 대응하는 디코딩 방법을 사용하여 디코딩 처리가 수행된다. 또한, 프레임간 압축 및 프레임내 압축에 대한 압축해제가 수행된다. 저장된 예측 모드 정보를 사용하여 프레임내 압축에 대한 압축해제가 수행될 수 있고, 각각의 이미지 프레임에 대응하는 참조 이미지를 사용하여 프레임간 압축에 대한 압축해제를 수행하여, 제1 압축해제된 이미지를 획득할 수 있다. 제1 압축해제된 이미지는 후속 처리를 위해 저장된다.
단계 S303: 제1 이미지 디바이스는 타깃 차이 정보를 결정하고, 타깃 차이 정보는 미가공 이미지와 제1 압축해제된 이미지 사이의 차이 정보에 기초하여 획득된다.
구체적으로, H.264를 사용하여 본 출원에서 미가공 이미지에 대해 수행되는 압축은 손실 압축이다. 더 큰 압축비를 획득하기 위해, 압축 동안 일부 정보가 손실된다. 따라서, 제2 이미지 디바이스에서 압축해제된 이미지의 정밀도를 개선하기 위해, 본 출원에서는, 압축해제 후에, 미가공 이미지와 제1 압축해제된 이미지를 사용하여 타깃 차이 정보가 결정되고, 결정된 타깃 차이 정보가 압축되어 제2 이미지 디바이스에 전송되어, 제2 이미지 디바이스가 이미지를 압축해제한 후에 타깃 차이 정보에 기초하여 이미지에 대해 이미지 처리를 수행하여, 더 높은 정밀도의 압축해제된 이미지를 획득할 수 있게 한다.
가능한 구현에서, 미가공 이미지와 제1 압축해제된 이미지 둘 다는 하나의 이미지 행렬을 포함한다. 미가공 이미지 및 제1 압축해제된 이미지의 이미지 크기들이 동일하고, 미가공 이미지 및 제1 압축해제된 이미지의 이미지 행렬들의 폭들 및 높이들이 또한 동일하고, 미가공 이미지에 포함된 이미지 행렬에 포함된 각각의 이미지 요소 값이 제1 압축해제된 이미지에 포함된 이미지 행렬에 포함된 각각의 이미지 요소 값과 일-대-일 대응한다는 점이 이해될 수 있다. 미가공 이미지에 포함된 이미지 행렬은 제1 압축해제된 이미지에 포함된 이미지 행렬로부터 감산되고, 구체적으로, 미가공 이미지에 포함된 행렬 내의 각각의 이미지 요소를 제1 압축해제된 이미지에 포함된 행렬 내의 대응하는 위치에서의 각각의 이미지 요소 값으로부터 감산하여 차이 정보에 포함된 이미지 행렬을 획득한다. 감산 연산을 수행하는 연산은 소프트웨어 프로그램을 호출함으로써 제1 이미지 디바이스에 의해 수행될 수 있다.
또한, 송신된 데이터를 감소시키기 위해서는, 차이 정보에 대해 완화 처리를 수행하여, 타깃 차이 정보를 획득한다. 구체적으로, 획득된 차이 정보에 포함된 이미지 행렬 내의 각각의 이미지 요소 값은 미리 설정된 임계 범위와 비교되고, 이미지 요소 값이 미리 설정된 임계 범위 내에 속한다고 결정될 때, 이미지 요소 값은 미리 설정된 값으로 변경되어, 타깃 차이 정보에 포함된 이미지 행렬을 획득한다. 미리 설정된 임계 범위는 수동으로 설정될 수 있거나, 제1 이미지 디바이스에 의해 미리 설정될 수 있거나, 상이한 응용 시나리오들에 기초하여 조정될 수 있다. 상이한 미리 설정된 임계 범위들이 본 출원에서 사용되는 이미지 처리 방법의 압축 정밀도에 영향을 미칠 수 있어, 압축 정밀도가 제어될 수 있다는 점이 이해될 수 있다. 본 출원의 이 실시예에서, 미리 설정된 값은 0, 1 등일 수 있다. 이것은 여기에서 제한되지 않는다.
가능한 구현에서, 미가공 이미지에 포함된 이미지 행렬 및 제1 압축해제된 이미지에 포함된 이미지 행렬 내의 많은 이미지 요소 값들이 동일하고, 미가공 이미지에 포함된 이미지 행렬과 제1 압축해제된 이미지에 포함된 이미지 행렬 사이에서 감산 연산을 수행하여 획득된 차이 정보에 포함된 이미지 행렬 내의 많은 이미지 요소 값들이 0일 때, 타깃 차이 정보를 압축하기 위해, 미리 설정된 값은 0으로 결정될 수 있다. 차이 정보에 포함된 이미지 행렬에서 동일한 이미지 요소 값들의 가장 큰 수량 및 가장 큰 수량을 갖는 값에 관한 통계가 수집될 수 있고, 동일한 이미지 요소 값들의 가장 큰 수량을 갖는 값이 미리 설정된 값으로서 사용되어, 타깃 차이 정보를 획득한다.
타깃 차이 정보에서, 미가공 이미지 및 제1 압축해제된 이미지의 이미지 행렬들 내의 이미지 요소 값들 사이에 큰 차이를 갖는 부분이 유지되고, 미가공 이미지 및 제1 압축해제된 이미지의 이미지 행렬들 내의 이미지 요소 값들 사이에 작은 차이를 갖는 부분이 완화된다. 따라서, 타깃 차이 정보가 제2 이미지 디바이스에 전송된 후에, 압축해제된 이미지는 타깃 차이 정보를 사용하여 처리될 수 있다. 미가공 이미지 내의 이미지 행렬과 큰 차이를 갖는 부분은 압축해제를 통해 획득된 이미지로 다시 보완되어, 압축해제된 이미지의 정밀도를 개선한다. 미가공 이미지 내의 이미지 행렬 내의 이미지 요소 값과 작은 차이를 갖는 부분의 데이터 양이 완화되어, 송신되는 데이터 양을 줄인다.
단계 S304: 제1 이미지 디바이스는 타깃 차이 정보를 압축하여, 압축된 타깃 차이 정보를 획득한다.
가능한 구현에서, 송신된 데이터 양을 감소시키기 위해, 제1 이미지 디바이스는 타깃 차이 정보를 압축할 수 있다. 구체적으로, 타깃 차이 정보를 코딩하여, 압축된 타깃 차이 정보를 획득할 수 있고, 타깃 차이 정보에 대해 엔트로피 코딩을 수행하여, 압축된 타깃 차이 정보를 획득할 수 있다. 엔트로피 코딩 방법은 샤논(Shannon) 코딩일 수 있거나, 또는 허프만(Huffman) 코딩, 산술 코딩(arithmetic coding) 등일 수 있다. 엔트로피 코딩 방식은 본 명세서에서 제한되지 않는다. 타깃 차이 정보가 코딩되기 전과 후에 상당한 양의 정보가 손실되지 않는다는 점이 이해될 수 있다. 압축된 타깃 차이 정보가 제2 이미지 디바이스에 전송된 후에, 제2 이미지 디바이스는 압축된 타깃 차이 정보를 압축해제하여, 무손실 타깃 차이 정보가 획득될 수 있다.
단계 S305: 제1 이미지 디바이스는 압축된 이미지와 압축된 타깃 차이 정보를 제2 이미지 디바이스에 전송한다.
제1 이미지 디바이스는 압축된 이미지와 압축된 타깃 차이 정보를 제2 이미지 디바이스에 전송하여, 제2 이미지 디바이스가 압축된 이미지와 압축된 타깃 차이 정보를 압축해제하고, 타깃 차이 정보를 사용하여 압축해제된 이미지를 추가로 처리하여, 이미지 정밀도를 개선한다.
예를 들어, 도 4에 도시된 바와 같이, 제1 이미지 디바이스(예를 들어, 도 4의 촬영 장치와 산업 게이트웨이)는 압축된 이미지와 압축된 타깃 차이 정보를 MEC 서버에 전송한다. 압축된 이미지와 압축된 타깃 차이 정보를 수신한 후에, MEC 서버는 압축된 이미지와 압축된 타깃 차이 정보를 압축해제한다.
단계 S306: 제2 이미지 디바이스는 압축된 이미지를 압축해제하여, 제1 압축해제된 이미지를 획득한다.
가능한 구현에서, 제2 이미지 디바이스는 수신된 압축된 이미지를 압축해제하여 제1 압축해제된 이미지를 획득하도록 구성될 수 있는 하드웨어 디코더를 포함한다. 구체적으로, 비디오 코딩 시퀀스에 기초하여 역 동작을 수행하여, 미가공 이미지의 제1 압축해제된 이미지를 획득할 수 있다. 또한, 제2 이미지 디바이스는 후속 처리를 위해 제1 압축해제된 이미지를 저장한다.
단계 S307: 제2 이미지 디바이스는 압축된 타깃 차이 정보에 기초하여 제1 압축해제된 이미지에 대해 이미지 처리를 수행하여, 제2 압축해제된 이미지를 획득한다.
가능한 구현에서, 제2 이미지 디바이스는 소프트웨어 프로그램을 호출하여, 타깃 차이 정보에 포함된 이미지 행렬 및 제1 압축해제된 이미지 내의 이미지 행렬에 대해 행렬 가산 연산을 수행하여, 제2 압축해제된 이미지에 포함된 이미지 행렬을 획득할 수 있다. 구체적으로, 타깃 차이 정보에서 이미지 행렬 내의 각각의 이미지 요소 값을 제1 압축해제된 이미지의 이미지 행렬 내의 대응하는 위치에서의 각각의 이미지 요소 값에 추가하여, 제2 압축해제된 이미지에 포함된 이미지 행렬 내의 이미지 요소 값을 획득한다. 또한, 제2 압축해제된 이미지 내의 각각의 픽셀의 픽셀 값을 제2 압축해제된 이미지에 포함된 이미지 행렬에 기초하여 획득하여, 제2 압축해제된 이미지를 획득할 수 있다. 도 4에 도시된 바와 같이, MEC 서버는 수신된 이미지를 압축해제하고 복원하여, 제2 압축해제된 이미지를 획득할 수 있다. 또한, 제2 압축해제된 이미지를 식별 및 분석하여, 제어 명령어들을 생성한다.
도 5a와 도 5b를 함께 참조한다. 도 5a와 도 5b는 각각 본 출원의 실시예에 따른 압축 전과 후의 이미지들 사이의 이미지 정밀도 손실의 개략도이다. 도 5a는 본 출원의 이 실시예에서 제공된 이미지 처리 방법을 사용하지 않고 미가공 이미지에 포함된 이미지 행렬 및 제1 압축해제된 이미지에 포함된 이미지 행렬에 대해 감산 연산을 수행함으로써 획득된 결과의 개략도이다. 도 5b는 본 출원의 이 실시예에서 제공된 이미지 처리 방법을 사용하여 미가공 이미지에 포함된 이미지 행렬 및 제2 압축해제된 이미지에 포함된 이미지 행렬에 대해 감산 연산을 수행함으로써 획득된 결과의 개략도이다.
도 5a 및 도 5b에 도시된 바와 같이, 블랙 박스들에서의 0, 1, 및 255는 각각 그레이스케일 값들과 미가공 이미지의 동일한 위치들에서의 픽셀들의 그레이스케일 값들 사이의 차이들이 0, 1, 및 255임을 나타낸다. 0은 처리를 통해 획득된 이미지의 그레이스케일 값과 미가공 이미지의 그레이스케일 값 사이에 차이가 없음을 나타내고, 1과 255는 처리를 통해 획득된 제2 압축해제된 이미지의 그레이스케일 값과 미가공 이미지의 그레이스케일 값 사이의 차이가 ±1임을 나타내는 등등이라는 점에 유의해야 한다. 0, 1, 및 255 이후의 숫자는 픽셀들의 수량을 나타낸다. 예를 들어, 도 5a의 첫번째 행의 "0: 7568827"은 제1 압축해제된 이미지와 미가공 이미지 사이에 그레이스케일 값들이 동일한 픽셀들의 수량이 7568827개인 것을 나타낸다. 유사하게, 도 5b의 첫번째 행의 "0: 12900307"은 또한 제2 압축해제된 이미지와 미가공 이미지 사이에 그레이스케일 값들이 동일한 픽셀들의 수량이 12900307개인 것을 나타낸다. 도 5a에 도시된 결과와 비교하여, 본 출원에서 제공되는 이미지 처리 방법을 구현하는 것은 그레이스케일 값들과 미가공 이미지의 동일한 위치에서의 픽셀들의 그레이스케일 값들 사이의 차이가 0인 픽셀들의 수량을 증가시킬 수 있는데, 다시 말해, 압축해제를 통해 획득되는 제2 압축해제된 이미지의 그레이스케일 값들이 미가공 이미지에 대해 변경되지 않은 채로 유지되는 픽셀들의 수량을 증가시킬 수 있다. 따라서, 압축해제 후의 압축된 이미지의 정밀도가 향상될 수 있고, 제2 이미지 디바이스에 의해 복원된 이미지와 미가공 이미지 사이의 정밀도 손실 에러가 감소될 수 있다.
본 출원의 이 실시예에서, 압축된 이미지는 원래의 압축된 이미지에 기초하여 압축해제되고, 타깃 차이 정보는 미가공 이미지와 압축해제된 제1 압축해제된 이미지 사이의 차이 정보에 기초하여 결정된다. 압축된 이미지가 제2 이미지 디바이스에 전송된 후, 압축된 이미지가 압축해제된 후에 획득된 제1 압축해제된 이미지와 미가공 이미지 사이의 타깃 차이 정보가 추가로 전송된다. 미가공 이미지와 압축하고나서 압축해제를 통해 획득된 이미지 사이의 압축 정밀도 손실은 타깃 차이 정보를 사용하여 결정될 수 있어, 제2 이미지 디바이스는 제2 이미지 디바이스가 이미지를 압축해제한 후에 이미지를 압축해제한다. 그 후, 타깃 차이 정보는 압축되고 그 후 제2 이미지 디바이스에 전송되어, 제2 이미지 디바이스가 이미지에 대해 이미지 처리를 수행한다. 타깃 차이 정보 및 압축해제를 통해 획득된 이미지(즉, 제1 압축해제된 이미지)에 기초하여 더 높은 정밀도의 압축해제된 이미지(즉, 제2 압축해제된 이미지)가 획득되어, 압축해제된 이미지와 미가공 이미지 사이의 정밀도 손실을 감소시키고, 제2 압축해제된 이미지의 정밀도를 개선할 수 있다.
도 6은 본 출원의 실시예에 따른 이미지 처리 방법의 개략적인 타이밍도이다. 도 6에 도시된 바와 같이: P1: 제1 이미지 디바이스는 미가공 이미지와 참조 이미지를 획득한다. P2: 제1 이미지 디바이스는 내장 하드웨어 인코더를 이용하여 미가공 이미지를 압축하여, 미가공 이미지의 압축된 이미지를 획득한다. P3: 제1 이미지 디바이스는 미가공 이미지의 압축된 이미지를 제2 이미지 디바이스에 전송할 수 있다. P4: 제1 이미지 디바이스 내의 하드웨어 디코더는 미가공 이미지의 압축된 이미지를 압축해제하여 제1 압축해제된 이미지를 획득할 수 있다. P5: 제1 이미지 디바이스는 소프트웨어 프로그램을 호출하여, 미가공 이미지에 포함된 이미지 행렬 및 제1 압축해제된 이미지에 포함된 이미지 행렬에 대해 감산 처리를 수행하여, 차이 정보를 획득한다. P6: 제1 이미지 디바이스는 차이 정보에 포함된 이미지 행렬에 있고 미리 설정된 임계 범위 내에 속하는 이미지 요소 값을 미리 설정된 값으로 변경하여 타깃 차이 정보를 획득한다. P7: 제1 이미지 디바이스는 타깃 차이 정보를 인코딩하여, 압축된 타깃 차이 정보를 획득한다. P8: 제1 이미지 디바이스는 압축된 타깃 차이 정보를 제2 이미지 디바이스에 전송한다. 제2 이미지 디바이스는 미가공 이미지의 압축된 이미지와 압축된 타깃 차이 정보를 수신한다. P9: 제2 이미지 디바이스는 내장된 하드웨어 디코더를 사용하여 미가공 이미지의 압축된 이미지를 압축해제하여 제1 압축해제된 이미지를 획득할 수 있다. P10: 제2 이미지 디바이스는 압축된 타깃 차이 정보를 압축해제하여, 타깃 차이 정보를 획득한다. P11: 제2 이미지 디바이스는 타깃 차이 정보에 기초하여 제1 압축해제된 이미지에 대해 이미지 처리를 수행하여, 제2 압축해제된 이미지를 획득한다.
P3은 P8이 수행되기 전에 수행될 수 있거나, P3은 P8이 수행된 후에 수행될 수 있거나, P3와 P8은 동시에 수행될 수 있다. 이것은 여기에서 제한되지 않는다.
본 출원의 이 실시예에서, 압축된 이미지는 원래의 압축된 이미지에 기초하여 압축해제되고, 타깃 차이 정보는 미가공 이미지와 압축해제된 제1 압축해제된 이미지 사이의 차이 정보에 기초하여 결정된다. 압축된 이미지가 제2 이미지 디바이스에 전송된 후, 압축된 이미지가 압축해제된 후에 획득된 제1 압축해제된 이미지와 미가공 이미지 사이의 타깃 차이 정보가 추가로 전송된다. 미가공 이미지와 압축하고나서 압축해제를 통해 획득된 이미지 사이의 압축 정밀도 손실은 타깃 차이 정보를 사용하여 결정될 수 있어, 제2 이미지 디바이스는 제2 이미지 디바이스가 이미지를 압축해제한 후에 이미지를 압축해제한다. 그 후, 타깃 차이 정보는 압축되고 그 후 제2 이미지 디바이스에 전송되어, 제2 이미지 디바이스가 이미지를 복원한다. 따라서, 복원된 이미지와 미가공 이미지 사이의 정밀도 손실 에러가 감소될 수 있고, 복원된 이미지의 정밀도가 향상될 수 있다.
도 7은 본 출원의 실시예에 따른 이미지 처리 장치의 구조의 개략도이다. 이미지 처리 장치(700)는 획득 유닛(701), 압축해제 유닛(702), 결정 유닛(703), 압축 유닛(704), 및 전송 유닛(705)을 포함할 수 있다. 유닛들의 상세한 설명들은 다음과 같다:
이미지 처리 장치는 본 출원의 실시예들에서 설명된 제1 이미지 디바이스를 구현하는 기능을 갖는다. 예를 들어, 이미지 처리 장치는 컴퓨터 디바이스에 의해 수행되는 본 출원의 실시예들에서 설명된 제1 이미지 디바이스의 단계들에 대응하는 모듈들, 유닛들, 또는 수단(means)을 포함한다. 기능들, 유닛들, 또는 수단(means)은 소프트웨어에 의해 구현될 수 있거나, 하드웨어에 의해 구현될 수 있거나, 대응하는 소프트웨어를 실행하는 하드웨어에 의해 구현될 수 있거나, 소프트웨어와 하드웨어의 조합에 의해 구현될 수 있다. 세부사항들에 대해서는, 전술한 대응하는 방법 실시예에서의 대응하는 설명들을 참조한다.
획득 유닛(701)은 미가공 이미지의 압축된 이미지를 획득하도록 구성된다. 압축해제 유닛(702)은 압축된 이미지를 압축해제하여 제1 압축해제된 이미지를 획득하도록 구성된다. 결정 유닛(703)은 타깃 차이 정보를 결정하도록 구성되고, 타깃 차이 정보는 미가공 이미지와 제1 압축해제된 이미지 사이의 차이 정보에 기초하여 획득된다. 압축 유닛(704)은 타깃 차이 정보를 압축하여, 압축된 타깃 차이 정보를 획득하도록 구성된다. 전송 유닛(705)은 압축된 이미지와 압축된 타깃 차이 정보를 제2 이미지 디바이스에 전송하도록 구성된다.
가능한 구현에서, 차이 정보와 타깃 차이 정보 둘 다는 이미지 행렬을 포함하고, 각각의 이미지 행렬은 복수의 이미지 요소 값을 포함한다. 결정 유닛(703)은 구체적으로: 차이 정보에 포함된 이미지 행렬에 있고 미리 설정된 임계 범위 내에 속하는 이미지 요소 값을 미리 설정된 값으로 변경하여, 타깃 차이 정보에 포함된 이미지 행렬을 획득하도록 구성된다.
가능한 구현에서, 획득 유닛(701)은 구체적으로: 촬영 장치로부터 미가공 이미지를 수신하고; 미가공 이미지에 대응하는 참조 이미지를 획득하고; 참조 이미지에 기초하여 미가공 이미지를 압축하여, 압축된 이미지를 획득하도록 구성된다.
가능한 구현에서, 획득 유닛(701)은 구체적으로: 촬영을 통해 미가공 이미지를 획득하고; 미가공 이미지에 대응하는 참조 이미지를 획득하고; 참조 이미지에 기초하여 미가공 이미지를 압축하여, 압축된 이미지를 획득하도록 구성된다.
가능한 구현에서, 전송 유닛(705)은 추가로: 참조 이미지를 제2 이미지 디바이스에 전송하도록 구성된다.
본 출원의 이 실시예에서 설명된 이미지 처리 장치(700) 내의 기능 유닛들의 기능들에 대해서는, 도 3의 전술한 방법 실시예에서의 단계 S301 내지 단계 S305의 관련 설명들을 참조한다는 점에 유의해야 한다. 세부사항들이 여기에서 다시 설명되지는 않는다.
도 8은 본 출원의 실시예에 따른 다른 이미지 처리 장치의 구조의 개략도이다. 이미지 처리 장치(800)는 수신 유닛(801), 압축해제 유닛(802), 및 이미지 처리 유닛(803)을 포함할 수 있다. 유닛들의 상세한 설명들은 다음과 같다.
이미지 처리 장치는 본 출원의 실시예들에서 설명된 제2 이미지 디바이스를 구현하는 기능을 갖는다. 예를 들어, 이미지 처리 장치는 컴퓨터 디바이스에 의해 수행되는 본 출원의 실시예들에서 설명되는 제2 이미지 디바이스의 단계들에 대응하는 모듈들, 유닛들 또는 수단(means)을 포함한다. 기능들, 유닛들, 또는 수단(means)은 소프트웨어에 의해 구현될 수 있거나, 하드웨어에 의해 구현될 수 있거나, 대응하는 소프트웨어를 실행하는 하드웨어에 의해 구현될 수 있거나, 소프트웨어와 하드웨어의 조합에 의해 구현될 수 있다. 세부사항들에 대해서는, 전술한 대응하는 방법 실시예에서의 대응하는 설명들을 참조한다.
수신 유닛(801)은 제1 이미지 디바이스로부터, 미가공 이미지의 압축된 이미지와 압축된 타깃 차이 정보를 수신하도록 구성되고, 타깃 차이 정보는 미가공 이미지와 제1 압축해제된 이미지 사이의 차이 정보에 기초하여 획득된다. 압축해제 유닛(802)은 압축된 이미지를 압축해제하여, 제1 압축해제된 이미지를 획득하도록 구성된다. 이미지 처리 유닛(803)은 압축된 타깃 차이 정보에 기초하여 제1 압축해제된 이미지에 대해 이미지 처리를 수행하여, 제2 압축해제된 이미지를 획득하도록 구성된다.
가능한 구현에서, 수신 유닛(801)은 제1 이미지 디바이스로부터, 미가공 이미지에 대응하는 참조 이미지를 수신하도록 추가로 구성된다.
가능한 구현에서, 압축해제 유닛(802)은 구체적으로: 참조 이미지에 기초하여, 압축된 이미지를 압축해제하여, 제1 압축해제된 이미지를 획득하도록 구성된다.
가능한 구현에서, 타깃 차이 정보와 제1 압축해제된 이미지 둘 다는 이미지 행렬을 포함하고, 각각의 이미지 행렬은 복수의 이미지 요소 값을 포함한다. 압축해제 유닛(802)은 구체적으로: 압축된 타깃 차이 정보를 압축해제하여, 타깃 차이 정보를 획득하고; 제1 압축해제된 이미지에 포함된 이미지 행렬 및 타깃 차이 정보에 포함된 이미지 행렬에 대해 가산 처리를 수행하여, 제2 압축해제된 이미지에 포함된 이미지 행렬을 획득하고; 제2 압축해제된 이미지에 포함된 이미지 행렬에 기초하여 제2 압축해제된 이미지를 결정하도록 구성된다.
본 출원의 이 실시예에서 설명된 이미지 처리 장치(800) 내의 기능 유닛들의 기능들에 대해서는, 도 3의 전술한 방법 실시예에서의 단계 S306 및 단계 S307의 관련 설명들을 참조한다는 점에 유의해야 한다. 세부사항들이 여기에서 다시 설명되지는 않는다.
도 9에 도시된 바와 같이, 도 9는 본 출원의 실시예에 따른 컴퓨터 디바이스의 구조의 개략도이다. 컴퓨터 디바이스(900)는 본 출원의 실시예들에서 설명된 제1 이미지 디바이스를 구현하는 기능을 갖는다. 컴퓨터 디바이스(900)는 적어도 하나의 프로세서(901), 적어도 하나의 메모리(902), 및 적어도 하나의 통신 인터페이스(903)를 포함한다. 또한, 디바이스는 안테나와 같은 범용 컴포넌트를 추가로 포함할 수 있다. 세부사항들이 여기에서 다시 설명되지는 않는다.
프로세서(901)는 범용 중앙 처리 유닛(CPU), 마이크로프로세서, 주문형 집적 회로(application-specific integrated circuit, ASIC), 또는 전술한 해결책의 프로그램 실행을 제어하도록 구성된 하나 이상의 집적 회로일 수 있다.
통신 인터페이스(903)는 이더넷, 무선 액세스 네트워크(RAN), 코어 네트워크, 또는 무선 로컬 영역 네트워크(wireless local area network, WLAN)와 같은 다른 디바이스 또는 통신 네트워크와 통신하도록 구성된다.
메모리(902)는 판독 전용 메모리(read-only memory, ROM), 정적 정보 및 명령어들을 저장할 수 있는 다른 타입의 정적 저장 디바이스, 또는 랜덤 액세스 메모리(random access memory, RAM), 또는 정보 및 명령어들을 저장할 수 있는 다른 타입의 동적 저장 디바이스일 수 있거나; 또는 전기적 소거가능 프로그램가능 판독 전용 메모리(electrically erasable programmable read-only memory, EEPROM), 콤팩트 디스크 판독 전용 메모리(compact disc read-only memory, CD-ROM) 또는 다른 콤팩트 디스크 스토리지, 광 디스크 스토리지(콤팩트 디스크, 레이저 디스크, 광 디스크, 디지털 다기능 디스크, 블루레이 디스크 등을 포함함), 자기 디스크 저장 매체, 다른 자기 저장 디바이스, 또는 명령어 또는 데이터 구조의 형태로 예상 프로그램 코드를 운반하거나 저장하도록 구성될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체일 수 있다. 그러나, 메모리는 이에 한정되지 않는다. 메모리는 독립적으로 존재할 수 있고, 버스를 통해 프로세서에 접속된다. 메모리는 대안적으로 프로세서와 통합될 수 있다.
메모리(902)는 전술한 해결책을 실행하기 위해 사용되는 응용 프로그램 코드를 저장하도록 구성되고, 프로세서(901)는 실행을 제어한다. 프로세서(901)는 메모리(902)에 저장되는 응용 프로그램 코드를 실행하도록 구성된다.
메모리(902)에 저장된 코드는 도 3에 제공된 이미지 처리 방법을 수행할 수 있는데, 예를 들어, 미가공 이미지의 압축된 이미지를 획득하고; 압축된 이미지를 압축해제하여, 제1 압축해제된 이미지를 획득하고; 타깃 차이 정보를 결정하고- 타깃 차이 정보는 미가공 이미지와 제1 압축해제된 이미지 사이의 차이 정보에 기초하여 획득됨 -; 타깃 차이 정보를 압축하여, 압축된 타깃 차이 정보를 획득하고; 압축된 이미지와 압축된 타깃 차이 정보를 제2 이미지 디바이스에 전송할 수 있다.
본 출원의 이 실시예에서 설명된 컴퓨터 디바이스(900) 내의 기능 유닛들의 기능들에 대해서는, 도 3의 전술한 방법 실시예에서의 단계 S301 내지 단계 S305의 관련 설명들을 참조한다는 점에 유의해야 한다. 세부사항들이 여기에서 다시 설명되지는 않는다.
전술한 실시예들에서, 각 실시예의 설명은 각각의 주안점들을 갖는다. 실시예에서 상세히 설명되지 않은 부분에 대해서는 다른 실시예들에서의 관련 설명들을 참조한다.
도 10에 도시된 바와 같이, 도 10은 본 출원의 실시예에 따른 다른 컴퓨터 디바이스의 구조의 개략도이다. 디바이스(1000)는 본 출원의 실시예들에서 설명된 제2 이미지 디바이스를 구현하는 기능을 갖는다. 컴퓨터 디바이스(1000)는 적어도 하나의 프로세서(1001), 적어도 하나의 메모리(1002), 및 적어도 하나의 통신 인터페이스(1003)를 포함한다. 또한, 디바이스는 안테나와 같은 범용 컴포넌트를 추가로 포함할 수 있다. 세부사항들이 여기에서 다시 설명되지는 않는다.
프로세서(1001)는 범용 중앙 처리 유닛(CPU), 마이크로프로세서, 주문형 집적 회로(application-specific integrated circuit, ASIC), 또는 전술한 해결책의 프로그램 실행을 제어하도록 구성된 하나 이상의 집적 회로일 수 있다.
통신 인터페이스(1003)는 이더넷, 무선 액세스 네트워크(RAN), 코어 네트워크, 또는 무선 로컬 영역 네트워크(Wireless Local Area Network, WLAN)와 같은 다른 디바이스 또는 통신 네트워크와 통신하도록 구성된다.
메모리(1002)는 판독 전용 메모리(read-only memory, ROM), 정적 정보 및 명령어들을 저장할 수 있는 다른 타입의 정적 저장 디바이스, 또는 랜덤 액세스 메모리(random access memory, RAM), 또는 정보 및 명령어들을 저장할 수 있는 다른 타입의 동적 저장 디바이스일 수 있거나; 또는 전기적 소거가능 프로그램가능 판독 전용 메모리(electrically erasable programmable read-only memory, EEPROM), 콤팩트 디스크 판독 전용 메모리(compact disc read-only memory, CD-ROM) 또는 다른 콤팩트 디스크 스토리지, 광 디스크 스토리지(콤팩트 디스크, 레이저 디스크, 광 디스크, 디지털 다기능 디스크, 블루레이 디스크 등을 포함함), 자기 디스크 저장 매체, 다른 자기 저장 디바이스, 또는 명령어 또는 데이터 구조의 형태로 예상 프로그램 코드를 운반하거나 저장하도록 구성될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체일 수 있다. 그러나, 메모리는 이에 한정되지 않는다. 메모리는 독립적으로 존재할 수 있고, 버스를 통해 프로세서에 접속된다. 메모리는 대안적으로 프로세서와 통합될 수 있다.
메모리(1002)는 전술한 해결책을 실행하기 위해 사용되는 응용 프로그램 코드를 저장하도록 구성되고, 프로세서(1001)는 실행을 제어한다. 프로세서(1001)는 메모리(1002)에 저장되는 응용 프로그램 코드를 실행하도록 구성된다.
메모리(1002)에 저장된 코드는 도 3에 제공된 이미지 처리 방법을 수행할 수 있는데, 예를 들어, 제1 이미지 디바이스로부터, 미가공 이미지의 압축된 이미지와 압축된 타깃 차이 정보를 수신하고- 타깃 차이 정보는 미가공 이미지와 제1 압축해제된 이미지 사이의 차이 정보에 기초하여 획득됨 -; 압축된 이미지를 압축해제하여, 제1 압축해제된 이미지를 획득하고; 압축된 타깃 차이 정보에 기초하여 제1 압축해제된 이미지에 대해 이미지 처리를 수행하여, 제2 압축해제된 이미지를 획득할 수 있다.
본 출원의 이 실시예에서 설명된 컴퓨터 디바이스(1000) 내의 기능 유닛들의 기능들에 대해서는, 도 3의 전술한 방법 실시예에서의 단계 S306 및 단계 S307의 관련 설명들을 참조한다는 점에 유의해야 한다. 세부사항들이 여기에서 다시 설명되지는 않는다.
전술한 실시예들에서, 각 실시예의 설명은 각각의 주안점들을 갖는다. 실시예에서 상세히 설명되지 않은 부분에 대해서는 다른 실시예들에서의 관련 설명들을 참조한다.
간략한 설명을 위해, 전술한 방법 실시예들은 일련의 액션들로서 표현된다는 점에 유의해야 한다. 그러나, 본 기술분야의 통상의 기술자들은 본 출원에 따라 일부 단계들이 다른 순서들로 또는 동시에 수행될 수 있기 때문에, 본 출원이 설명된 액션들의 순서로 제한되지 않는다는 것을 이해해야 한다. 본 명세서에 설명된 실시예들은 모두 바람직한 실시예들에 속하고, 수반되는 액션들 및 모듈들은 본 출원에 의해 반드시 요구되는 것은 아니라는 점이 본 기술분야의 통상의 기술자에 의해 추가로 이해되어야 한다.
본 출원에서 제공되는 몇몇 실시예들에서, 개시된 장치가 다른 방식들로 구현될 수 있다는 것을 잘 알 것이다. 예를 들어, 설명된 장치 실시예는 단지 일례이다. 예를 들어, 유닛들로의 분할은 논리적 기능 분할일 뿐이며 실제 구현에서는 다른 분할일 수 있다. 예를 들어, 복수의 유닛 또는 컴포넌트는 다른 시스템에 결합 또는 통합될 수 있거나, 일부 특징들이 무시되거나 수행되지 않을 수 있다. 게다가, 디스플레이되거나 논의된 상호 결합들 또는 직접 결합들 또는 통신 접속들은 몇몇 인터페이스들을 통해 구현될 수 있다. 장치들 또는 유닛들 사이의 간접 결합들 또는 통신 접속들이 전자적 또는 다른 형태들로 구현될 수 있다.
별개의 부분들로서 설명된 전술한 유닛들은 물리적으로 분리되거나 분리되지 않을 수도 있고, 유닛으로서 표시된 부분들은 물리적 유닛이거나 아닐 수도 있고, 한 위치에 위치하거나, 복수의 네트워크 유닛들에 분산될 수 있다. 유닛들의 일부 또는 전부는 실시예들의 해결책들의 목적들을 달성하도록 실제 필요에 기초하여 선택될 수 있다.
또한, 본 출원의 실시예들에서의 기능 유닛들은 하나의 처리 유닛에 통합될 수 있거나, 또는 이러한 유닛들 각각이 물리적으로 단독으로 존재할 수 있거나, 또는 2개 이상의 유닛이 하나의 유닛에 통합된다. 통합된 유닛이 하드웨어의 형태로 구현될 수 있거나, 소프트웨어 기능 유닛의 형태로 구현될 수 있다.
전술한 통합된 유닛이 소프트웨어 기능 유닛의 형태로 구현되고 독립적인 제품으로서 판매되거나 사용될 때, 통합된 유닛은 컴퓨터 판독가능 저장 매체에 저장될 수 있다. 이러한 이해에 기초하여, 본질적으로 본 출원의 기술적 해결책들, 또는 종래 기술에 기여하는 부분, 또는 기술적 해결책들의 전부 또는 일부는 소프트웨어 제품의 형태로 구현될 수 있다. 컴퓨터 소프트웨어 제품은 저장 매체에 저장되고, 컴퓨터 디바이스(개인용 컴퓨터, 서버, 또는 네트워크 디바이스일 수 있고, 구체적으로 컴퓨터 디바이스의 프로세서일 수 있음)에게 본 출원의 실시예들에서 설명된 방법들의 전부 또는 일부 단계들을 수행하도록 지시하기 위한 여러 명령어들을 포함한다. 전술한 저장 매체는 USB 플래시 드라이브, 이동식 하드 디스크, 자기 디스크, 광 디스크, 판독 전용 메모리(read-only memory, ROM), 또는 랜덤 액세스 메모리(random access memory, RAM)와 같은, 프로그램 코드를 저장할 수 있는 임의의 매체를 포함할 수 있다.
본 출원의 명세서, 청구항들, 및 첨부 도면들에서, "제1(first)", "제2(second)", "제3(third)", "제4(fourth)" 등이라는 용어들은 상이한 객체들 사이를 구별하도록 의도되는 것이지만 특정 순서를 나타내는 것은 아니다. 또한, 용어들 "포함하는" 및 "갖는" 및 그의 임의의 다른 변형은 비배타적 포함을 커버하도록 의도된다. 예를 들어, 일련의 단계들 또는 유닛들을 포함하는 프로세스, 방법, 시스템, 제품, 또는 디바이스가 열거되는 단계들 또는 유닛들에 제한되는 것이 아니라, 열거되지 않은 단계 또는 유닛을 선택적으로 추가로 포함하거나 또는 이러한 프로세스, 방법, 제품, 또는 디바이스의 다른 고유한 단계 또는 유닛을 선택적으로 추가로 포함한다.
본 명세서에서 언급된 "실시예"는 이 실시예를 참조하여 설명된 특정한 특징, 구조, 또는 특성이 본 출원의 적어도 하나의 실시예에 포함될 수 있다는 것을 의미한다. 본 명세서의 다양한 위치들에 나타난 문구는 반드시 동일한 실시예를 지칭하지 않을 수 있고, 다른 실시예로부터 배타적인 독립적 또는 선택적 실시예가 아니다. 본 명세서에 설명된 실시예들은 다른 실시예와 조합될 수 있다는 것이 본 기술분야의 통상의 기술자들에 의해 명시적으로 그리고 암시적으로 이해된다.
본 명세서에서 사용된 "컴포넌트", "모듈" 및 "시스템" 등의 용어는, 컴퓨터 관련 엔티티, 하드웨어, 펌웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행되는 소프트웨어를 나타낸다. 예를 들어, 컴포넌트는, 프로세서 상에서 실행되는 프로세스, 프로세서, 객체, 실행가능한 파일, 실행 쓰레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이들로 한정되지 않는다. 도면들을 사용하여 예시된 바와 같이, 컴퓨팅 디바이스 및 컴퓨팅 디바이스 상에서 실행되는 애플리케이션 둘 다는 컴포넌트들일 수 있다. 하나 이상의 컴포넌트는 프로세스 및/또는 실행의 스레드 내에 존재할 수 있고, 컴포넌트는 하나의 컴퓨터 상에 위치할 수 있고 및/또는 둘 이상의 컴퓨터들 사이에 분산될 수 있다. 또한, 이들 컴포넌트는 다양한 데이터 구조를 저장하는 다양한 컴퓨터 판독가능 매체로부터 실행될 수 있다. 예를 들어, 컴포넌트들은, 로컬 및/또는 원격 프로세스를 사용하여, 및 예를 들어, 하나 이상의 데이터 패킷(예를 들어, 로컬 시스템 내의, 분산형 시스템 내의, 및/또는 신호에 사용하여 다른 시스템과 상호작용하는 인터넷 등의 네트워크를 통해, 또 다른 컴포넌트와 상호작용하는 2개의 컴포넌트로부터의 데이터)을 갖는 신호에 기초하여 통신할 수 있다.
전술한 실시예들은 단지 본 출원을 제한하는 것이 아니라 본 출원의 기술적 해결책들을 설명하기 위한 것이다. 본 출원이 전술한 실시예를 참조하여 상세히 설명되었지만, 통상의 기술자라면, 본 출원의 실시예의 기술적 해결책의 사상 및 범위로부터 벗어나지 않고, 전술한 실시예에서 설명된 기술적 해결책에 수정을 가하거나 일부 기술적 특징들에 대해 등가의 대체를 행할 수도 있다는 것을 이해해야 한다.
Claims (20)
- 제1 이미지 디바이스에 적용되는 이미지 처리 방법으로서,
미가공 이미지의 압축된 이미지를 획득하는 단계;
상기 압축된 이미지를 압축해제하여, 제1 압축해제된 이미지를 획득하는 단계;
타깃 차이 정보를 결정하는 단계- 상기 타깃 차이 정보는 상기 미가공 이미지와 상기 제1 압축해제된 이미지 사이의 차이 정보에 기초하여 획득됨 -;
상기 타깃 차이 정보를 압축하여, 압축된 타깃 차이 정보를 획득하는 단계; 및
상기 압축된 이미지와 상기 압축된 타깃 차이 정보를 제2 이미지 디바이스에 전송하는 단계를 포함하는 방법. - 제1항에 있어서,
상기 차이 정보와 상기 타깃 차이 정보 둘 다는 이미지 행렬을 포함하고, 각각의 이미지 행렬은 복수의 이미지 요소 값을 포함하고;
상기 타깃 차이 정보를 결정하는 단계는:
상기 차이 정보에 포함된 이미지 행렬에서 미리 설정된 임계 범위 내에 속하는 이미지 요소 값을 미리 설정된 값으로 변경하여, 상기 타깃 차이 정보에 포함된 이미지 행렬을 획득하는 단계를 포함하는 방법. - 제1항 또는 제2항에 있어서,
상기 미가공 이미지의 압축된 이미지를 획득하는 단계는:
촬영 장치로부터 상기 미가공 이미지를 수신하는 단계;
상기 미가공 이미지에 대응하는 참조 이미지를 획득하는 단계; 및
상기 참조 이미지에 기초하여 상기 미가공 이미지를 압축하여, 상기 압축된 이미지를 획득하는 단계를 포함하는 방법. - 제1항 또는 제2항에 있어서,
상기 미가공 이미지의 압축된 이미지를 획득하는 단계는:
촬영을 통해 상기 미가공 이미지를 획득하는 단계;
상기 미가공 이미지에 대응하는 참조 이미지를 획득하는 단계; 및
상기 참조 이미지에 기초하여 상기 미가공 이미지를 압축하여, 상기 압축된 이미지를 획득하는 단계를 포함하는 방법. - 제3항 또는 제4항에 있어서,
상기 방법은:
상기 참조 이미지를 상기 제2 이미지 디바이스에 전송하는 단계를 추가로 포함하는 방법. - 제2 이미지 디바이스에 적용되는 이미지 처리 방법으로서,
제1 이미지 디바이스로부터, 미가공 이미지의 압축된 이미지와 압축된 타깃 차이 정보를 수신하는 단계- 타깃 차이 정보는 상기 미가공 이미지와 제1 압축해제된 이미지 사이의 차이 정보에 기초하여 획득됨 -;
상기 압축된 이미지를 압축해제하여, 상기 제1 압축해제된 이미지를 획득하는 단계; 및
상기 압축된 타깃 차이 정보에 기초하여 상기 제1 압축해제된 이미지에 대해 이미지 처리를 수행하여, 제2 압축해제된 이미지를 획득하는 단계를 포함하는 방법. - 제6항에 있어서,
상기 방법은:
상기 제1 이미지 디바이스로부터, 상기 미가공 이미지에 대응하는 참조 이미지를 수신하는 단계를 추가로 포함하는 방법. - 제7항에 있어서,
상기 압축된 이미지를 압축해제하여, 상기 제1 압축해제된 이미지를 획득하는 단계는:
상기 참조 이미지에 기초하여, 상기 압축된 이미지를 압축해제하여, 상기 제1 압축해제된 이미지를 획득하는 단계를 포함하는 방법. - 제7항 또는 제8항에 있어서,
상기 타깃 차이 정보와 상기 제1 압축해제된 이미지 둘 다는 이미지 행렬을 포함하고, 각각의 이미지 행렬은 복수의 이미지 요소 값을 포함하고;
상기 압축된 타깃 차이 정보에 기초하여 상기 제1 압축해제된 이미지에 대해 이미지 처리를 수행하여, 제2 압축해제된 이미지를 획득하는 단계는:
상기 압축된 타깃 차이 정보를 압축해제하여, 상기 타깃 차이 정보를 획득하는 단계;
상기 제1 압축해제된 이미지에 포함된 이미지 행렬과 상기 타깃 차이 정보에 포함된 이미지 행렬에 대해 가산 처리를 수행하여, 상기 제2 압축해제된 이미지에 포함된 이미지 행렬을 획득하는 단계; 및
상기 제2 압축해제된 이미지에 포함된 이미지 행렬에 기초하여 상기 제2 압축해제된 이미지를 결정하는 단계를 포함하는 방법. - 제1 이미지 디바이스에 사용되는 이미지 처리 장치로서,
미가공 이미지의 압축된 이미지를 획득하도록 구성된 획득 유닛;
상기 압축된 이미지를 압축해제하여, 제1 압축해제된 이미지를 획득하도록 구성된 압축해제 유닛;
타깃 차이 정보를 결정하도록 구성된 결정 유닛- 상기 타깃 차이 정보는 상기 미가공 이미지와 상기 제1 압축해제된 이미지 간의 차이 정보에 기초하여 획득됨 -;
상기 타깃 차이 정보를 압축하여, 압축된 타깃 차이 정보를 획득하도록 구성된 압축 유닛; 및
상기 압축된 이미지와 상기 압축된 타깃 차이 정보를 제2 이미지 디바이스에 전송하도록 구성된 전송 유닛을 포함하는 장치. - 제10항에 있어서,
상기 차이 정보와 상기 타깃 차이 정보 둘 다는 이미지 행렬을 포함하고, 각각의 이미지 행렬은 복수의 이미지 요소 값을 포함하고;
상기 결정 유닛은 구체적으로:
상기 차이 정보에 포함된 이미지 행렬에서 미리 설정된 임계 범위 내에 속하는 이미지 요소 값을 미리 설정된 값으로 변경하여, 상기 타깃 차이 정보에 포함된 이미지 행렬을 획득하도록 구성되는 장치. - 제10항 또는 제11항에 있어서,
상기 획득 유닛은 구체적으로:
촬영 장치로부터 상기 미가공 이미지를 수신하고;
상기 미가공 이미지에 대응하는 참조 이미지를 획득하고;
상기 참조 이미지에 기초하여 상기 미가공 이미지를 압축하여, 상기 압축된 이미지를 획득하도록 구성되는 장치. - 제10항 또는 제11항에 있어서,
상기 획득 유닛은 구체적으로:
촬영을 통해 상기 미가공 이미지를 획득하고;
상기 미가공 이미지에 대응하는 참조 이미지를 획득하고;
상기 참조 이미지에 기초하여 상기 미가공 이미지를 압축하여, 상기 압축된 이미지를 획득하도록 구성되는 장치. - 제12항 또는 제13항에 있어서,
상기 전송 유닛은 추가로:
상기 참조 이미지를 상기 제2 이미지 디바이스에 전송하도록 구성되는 장치. - 제2 이미지 디바이스에 사용되는 이미지 처리 장치로서,
제1 이미지 디바이스로부터, 미가공 이미지의 압축된 이미지와 압축된 타깃 차이 정보를 수신하도록 구성된 수신 유닛- 타깃 차이 정보는 상기 미가공 이미지와 제1 압축해제된 이미지 사이의 차이 정보에 기초하여 획득됨 -;
상기 압축된 이미지를 압축해제하여, 상기 제1 압축해제된 이미지를 획득하도록 구성된 압축해제 유닛; 및
상기 압축된 타깃 차이 정보에 기초하여 상기 제1 압축해제된 이미지에 대해 이미지 처리를 수행하여, 제2 압축해제된 이미지를 획득하도록 구성된 이미지 처리 유닛을 포함하는 장치. - 제15항에 있어서,
상기 수신 유닛은 추가로:
상기 제1 이미지 디바이스로부터, 상기 미가공 이미지에 대응하는 참조 이미지를 수신하도록 구성되는 장치. - 제16항에 있어서,
상기 압축해제 유닛은 구체적으로:
상기 참조 이미지에 기초하여, 상기 압축된 이미지를 압축해제하여, 상기 제1 압축해제된 이미지를 획득하도록 구성되는 장치. - 제16항 또는 제17항에 있어서,
상기 타깃 차이 정보와 상기 제1 압축해제된 이미지 둘 다는 이미지 행렬을 포함하고, 각각의 이미지 행렬은 복수의 이미지 요소 값을 포함하고;
상기 이미지 처리 유닛은 구체적으로:
상기 압축된 타깃 차이 정보를 압축해제하여, 상기 타깃 차이 정보를 획득하고;
상기 제1 압축해제된 이미지에 포함된 이미지 행렬과 상기 타깃 차이 정보에 포함된 이미지 행렬에 대해 가산 처리를 수행하여, 상기 제2 압축해제된 이미지에 포함된 이미지 행렬을 획득하고;
상기 제2 압축해제된 이미지에 포함된 이미지 행렬에 기초하여 상기 제2 압축해제된 이미지를 결정하도록 구성되는 장치. - 컴퓨터 디바이스로서,
프로세서와 메모리를 포함하고, 상기 프로세서는 상기 메모리에 결합되고, 상기 메모리는 컴퓨터 명령어들을 저장하도록 구성되고, 상기 프로세서는 상기 컴퓨터 명령어들을 실행하여, 상기 이미지 처리 장치가 제1항 내지 제5항 또는 제6항 내지 제9항 중 어느 한 항에 따른 방법을 구현하게 하도록 구성되는 컴퓨터 디바이스. - 컴퓨터 판독가능 저장 매체로서,
상기 컴퓨터 판독가능 저장 매체는 명령어들을 저장하도록 구성되고; 상기 명령어들이 실행될 때, 제1항 내지 제5항 또는 제6항 내지 제9항 중 어느 한 항에 따른 방법이 구현되는 컴퓨터 판독가능 저장 매체.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010981884.9A CN114205584A (zh) | 2020-09-17 | 2020-09-17 | 一种图像处理方法、装置、设备及计算机可读存储介质 |
CN202010981884.9 | 2020-09-17 | ||
PCT/CN2021/117864 WO2022057746A1 (zh) | 2020-09-17 | 2021-09-11 | 一种图像处理方法、装置、设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230062862A true KR20230062862A (ko) | 2023-05-09 |
Family
ID=80644872
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020237011638A KR20230062862A (ko) | 2020-09-17 | 2021-09-11 | 이미지 처리 방법 및 장치, 디바이스, 및 컴퓨터 판독가능 저장 매체 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230222696A1 (ko) |
EP (1) | EP4203474A4 (ko) |
JP (1) | JP2023547587A (ko) |
KR (1) | KR20230062862A (ko) |
CN (1) | CN114205584A (ko) |
WO (1) | WO2022057746A1 (ko) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116302600A (zh) * | 2023-02-28 | 2023-06-23 | 网宿科技股份有限公司 | 一种浏览器页面的显示方法、电子设备及存储介质 |
CN116563286B (zh) * | 2023-07-11 | 2023-09-15 | 深圳市惠德贵科技开发有限公司 | 一种移动硬盘盒生产质量快速检测系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ITMO20030053A1 (it) * | 2003-03-04 | 2004-09-05 | Alcom Algoritmi Compressione Dati S Rl | Dispositivo e metodo di codifica e decodifica per la compressione e decompressione di dati digitali. |
JP4470485B2 (ja) * | 2003-12-25 | 2010-06-02 | 株式会社ニコン | 固定ビット長の予測差分圧縮データを生成する画像圧縮装置および画像圧縮プログラム、画像伸張装置および画像伸張プログラム、並びに電子カメラ |
EP1732331A1 (en) * | 2005-06-08 | 2006-12-13 | BRITISH TELECOMMUNICATIONS public limited company | Video coding |
CN101755461B (zh) * | 2007-07-20 | 2012-06-13 | 富士胶片株式会社 | 图像处理设备、图像处理方法 |
CN101159875B (zh) * | 2007-10-15 | 2011-10-05 | 浙江大学 | 二重预测视频编解码方法和装置 |
KR20120083501A (ko) * | 2009-10-27 | 2012-07-25 | 인텔 코포레이션 | Jpeg-ls를 사용하는 스케일러블 압축 |
CN106162180A (zh) * | 2016-06-30 | 2016-11-23 | 北京奇艺世纪科技有限公司 | 一种图像编解码方法及装置 |
CN107105208A (zh) * | 2017-06-06 | 2017-08-29 | 山东大学 | 一种Bayer图像的无损编码与解码方法 |
-
2020
- 2020-09-17 CN CN202010981884.9A patent/CN114205584A/zh active Pending
-
2021
- 2021-09-11 WO PCT/CN2021/117864 patent/WO2022057746A1/zh unknown
- 2021-09-11 EP EP21868571.7A patent/EP4203474A4/en active Pending
- 2021-09-11 KR KR1020237011638A patent/KR20230062862A/ko active Search and Examination
- 2021-09-11 JP JP2023517665A patent/JP2023547587A/ja active Pending
-
2023
- 2023-03-16 US US18/184,940 patent/US20230222696A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2023547587A (ja) | 2023-11-13 |
US20230222696A1 (en) | 2023-07-13 |
CN114205584A (zh) | 2022-03-18 |
EP4203474A1 (en) | 2023-06-28 |
EP4203474A4 (en) | 2024-01-24 |
WO2022057746A1 (zh) | 2022-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11838541B2 (en) | Matrix weighted intra prediction of video signals | |
US11323711B2 (en) | Method and system for signaling chroma quantization parameter offset | |
US20230222696A1 (en) | Image processing method and apparatus, device, and computer-readable storage medium | |
US20210203972A1 (en) | Methods for signaling virtual boundaries and wrap-around motion compensation | |
US9532076B2 (en) | Apparatus and method for encoding combined image including different images | |
US12047578B2 (en) | Lossless coding of video data | |
US11750816B2 (en) | Methods and systems for cross-component sample adaptive offset | |
US11889091B2 (en) | Methods for processing chroma signals | |
CN108401185B (zh) | 参考帧选择方法、视频转码方法、电子设备和存储介质 | |
CN116743997A (zh) | 用信号通知子图像划分信息的方法和装置 | |
CN116405677B (zh) | 用于在调色板模式下对视频数据进行编码的方法和装置 | |
JP2022548204A (ja) | 変換スキップモードで映像データを符号化するための方法及び装置 | |
US20210266548A1 (en) | Signaling of maximum transform size and residual coding method | |
US20210385485A1 (en) | Angular weighted prediction for inter prediction | |
US11582478B2 (en) | Video encoding technique utilizing user guided information in cloud environment | |
US11711528B2 (en) | Systems and methods for liner model derivation | |
WO2022062957A1 (en) | Supplemental enhancement information message in video coding | |
US20240333958A1 (en) | Motion compensation method, apparatus and storage medium | |
US20210084293A1 (en) | Method and apparatus for coding video data | |
WO2021252645A1 (en) | Method for processing adaptive color transform and low-frequency non-separable transform in video coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination |