KR20210035108A - 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체 - Google Patents
이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체 Download PDFInfo
- Publication number
- KR20210035108A KR20210035108A KR1020210031399A KR20210031399A KR20210035108A KR 20210035108 A KR20210035108 A KR 20210035108A KR 1020210031399 A KR1020210031399 A KR 1020210031399A KR 20210031399 A KR20210031399 A KR 20210031399A KR 20210035108 A KR20210035108 A KR 20210035108A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- channel
- dimension
- channel image
- processed
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 72
- 238000007781 pre-processing Methods 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 48
- 230000008569 process Effects 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 20
- 238000010606 normalization Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000000926 separation method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 6
- 239000011159 matrix material Substances 0.000 description 7
- 230000000712 assembly Effects 0.000 description 5
- 238000000429 assembly Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
- H04N1/646—Transmitting or storing colour television type signals, e.g. PAL, Lab; Their conversion into additive or subtractive colour signals or vice versa therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Optimization (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Color Image Communication Systems (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
본 개시는 이미지 처리 기술분야에 관한 이미지 처리 방법, 장치, 전자 기기 및 판독 가능 저장 매체를 공개한다. 구체적인 구현 방안으로는, 처리할 이미지를 획득하고; 상기 처리할 이미지를 3 채널 YUV 이미지로 전환하며; 상기 3 채널 YUV 이미지중의 Y 채널 이미지, U 채널 이미지 및 V 채널 이미지에 대해 콘볼루션 연산을 수행하여, 각각 R 채널 이미지, G채널 이미지 및 B 채널 이미지를 생성하여, 3 채널 RGB 이미지를 획득하고; 상기 3 채널 RGB 이미지에 대해 사전처리를 수행한다. 본 개시의 방안에 따르면 이미지 사전처리 속도를 향상시킬 수 있다.
Description
본 개시는 이미지 처리 기술분야에 관한 것으로, 특히 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체에 관한 것이다.
기존의 컴퓨터 비전 기술에서 이미지 사전처리는 필수적인 단계이다. 현재 통상적으로 사용되는 이미지 사전처리 방법은 다음과 같다. 처리할 이미지의 각 픽셀에 대해 순차적으로 데이터 포맷 정리, RGB 전환 및 데이터 정규화 프로세스를 수행한다. 그러나 해당 방식은 비교적 많은 처리 시간이 소모되기에 처리 속도가 느려진다.
본 개시의 실시예는 기존 이미지 사전처리 방식의 느린 처리 속도 문제를 해결하기 위해, 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체를 제공한다.
상술한 기술적 문제를 해결하기 위하여, 본 개시는 아래와 같이 구현된다.
제1 측면에 있어서, 본 개시는 이미지 처리 방법을 제공한다. 상기 방법은,
처리할 이미지를 획득하는 단계;
상기 처리할 이미지를 3 채널 YUV 이미지로 전환하는 단계;
상기 3 채널 YUV 이미지중의 Y 채널 이미지, U 채널 이미지 및 V 채널 이미지에 대해 콘볼루션 연산을 수행하여, 각각 R 채널 이미지, G채널 이미지 및 B 채널 이미지를 생성하여 3 채널 RGB 이미지를 획득하는 단계; 및
상기 3 채널 RGB 이미지를 사전처리 하는 단계; 를 포함한다.
이와 같이, 이미지 사전처리 과정에서는, 전환하여 회득된 3 채널 YUV 이미지중의 Y 채널 이미지, U 채널 이미지 및 V 채널 이미지를 콘볼루션 연산을 통해 사전처리 하여, 3 채널 RGB 이미지를 생성하고, 또한 당해 3 채널 RGB 이미지를 사전처리하여, YUV 이미지를 RGB 이미지로 전환하는 시간을 단축하고, 이미지 사전처리 속도를 향샹시킨다.
선택적으로, 상기 처리할 이미지를 3 채널 YUV 이미지로 전환하는 단계는,
상기 처리할 이미지를 제1 Y 채널 이미지와 UV 채널 이미지로 분할하는 단계;
상기 제1 Y 채널 이미지를 조절하여, 차원이 (N,1,W,H)인 Y 채널 이미지를 획득하는 단계;
상기 UV 채널 이미지를 분리하여, 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지를 획득하는 단계;
상기 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 상기 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지를 각각 2배 샘플링하여, 차원이 (N,1,W,H)인 U 채널 이미지와 차원이 (N,1,W,H)인 V 채널 이미지를 획득하는 단계; 및
차원이 (N,1,W,H)인 Y 채널 이미지, U 채널 이미지 및 V 채널 이미지를 합병하여, 차원이 (N,3,W,H)인 YUV 이미지를 획득하는 단계; 를 포함하고,
여기서, 상기 N는 상기 처리할 이미지의 개수를 표시하고, 상기 1은 상기 Y 채널 이미지, 상기 U 채널 이미지 또는 상기 V 채널 이미지가 1 개 채널인 것을 표시하며, 3은 상기 YUV 이미지가 3개 채널인 것을 표시하고, 상기 W는 상기 처리할 이미지의 너비이고, 상기 H는 상기 처리할 이미지의 높이이다.
이와 같이, 상기 분리, 샘플링 및 합병의 과정에 의해 후속 콘볼루션 연산의 수요에 만족되는 3 채널 YUV 이미지를 효율적으로 획득할 수 있다.
선택적으로, 상기 UV 채널 이미지를 분리하여, 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지를 획득하는 단계는,
상기 UV 채널 이미지를 차원이 (N,2,W*H*0.25)인 UV 채널 이미지로 조절하는 단계;
상기 차원이 (N,2,W*H*0.25)인 UV 채널 이미지를 분리하여, 차원이 (N,1,W*H*0.25)인 U 채널 이미지와 차원이 (N,1,W*H*0.25)인 V 채널 이미지를 획득하는 단계; 및
상기 차원이 (N,1,W*H*0.25)인 U 채널 이미지를 상기 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지로 조절하고, 및 차원이 (N,1,W*H*0.25)인 V 채널 이미지를 상기 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지로 조절하는 단계; 를 포함한다.
따라서, UV 채널 이미지를 분리를 정확하게 구현할 수 있다.
선택적으로, 상기 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 상기 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지를 각각 2배 샘플링하여, 차원이 (N,1,W,H)인 U 채널 이미지와 차원이 (N,1,W,H)인 V 채널 이미지를 획득하는 단계는,
nearest 보간 함수를 사용하여, 상기 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 상기 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지를 각각 2배의 가장 이웃된 업 샘플링을 수행하여, 상기 차원이(N,1,W,H)인 U 채널 이미지와 상기 차원이(N,1,W,H)인 V 채널 이미지를 획득하는 단계를 포함한다.
이와 같이, nearest 보간 함수를 사용하여 2배의 가장 이웃된 업 샘플링을 수행하므로, 필요한 U 채널 이미지와 V 채널 이미지를 정확하게 샘플링하여 획득할 수 있다.
선택적으로, 상기 3 채널 RGB 이미지를 사전처리 하는 단계는,
배치 정규화 함수를 이용하여, 상기 3 채널 RGB 이미지를 사전처리하는 단계를 포함한다.
이와 같이, 배치 정규화 함수에 의해 3 채널 RGB 이미지에 대한 통일적인 사전처리를 구현하여, 사전처리 과정을 가속화 할 수 있다.
선택적으로, 상기 배치 정규화 함수는,
여기서, 상기 output는 사전처리 후의 이미지의 픽셀 값을 표시하고, 상기 input는 사전처리 전의 이미지의 픽셀 값을 표시하며, 상기 scale은 스케일링 계수를 표시하고, 상기 bias는 바이어스 값을 표시하며, 상기 mean는 평균 값을 표시하고, 상기 variance는 분산을 표시하며, 상기 epsilon는 기설정된 나눗셈 수치 안정 계수를 표시한다.
선택적으로, 상기 3 채널 RGB 이미지를 획득하는 단계 후에, 상기 방법은,
상기 3 채널 RGB 이미지의 사이즈를 조절하는 단계;를 더 포함하고,
상기 3 채널 RGB 이미지를 사전처리하는 단계는,
사이즈를 조절한 후의 3 채널 RGB 이미지를 사전처리하는 단계를 포함한다.
제2 측면에 있어서, 본 개시는 이미지 처리 장치를 더 제공한다. 상기 장치는,
처리할 이미지를 획득하는 획득 모듈;
상기 처리할 이미지를 3 채널 YUV 이미지로 전환하는 전환 모듈;
상기 3 채널 YUV 이미지중의 Y 채널 이미지, U 채널 이미지 및 V 채널 이미지에 대해 콘볼루션 연산을 수행하여, 각각 R 채널 이미지, G채널 이미지 및 B 채널 이미지를 생성하여 3 채널 RGB 이미지를 획득하는 연산 모듈; 및
상기 3 채널 RGB 이미지를 사전처리 하는 사전처리 모듈; 을 포함한다.
선택적으로, 상기 전환 모듈은,
상기 처리할 이미지를 제1 Y 채널 이미지와 UV 채널 이미지로 분할하는 분할 유닛;
상기 제1 Y 채널 이미지를 조절하여, 차원이 (N,1,W,H)인 Y 채널 이미지를 획득하는 조절 유닛;
상기 UV 채널 이미지를 분리하여, 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지를 획득하는 분리 유닛;
상기 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 상기 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지를 각각 2배 샘플링하여, 차원이 (N,1,W,H)인 U 채널 이미지와 차원이 (N,1,W,H)인 V 채널 이미지를 획득하는 샘플링 유닛; 및
차원이 (N,1,W,H)인 Y 채널 이미지, U 채널 이미지 및 V 채널 이미지를 합병하여, 차원이 (N,3,W,H)인 YUV 이미지를 획득하는 합병 유닛;을 포함하고
여기서, 상기 N는 상기 처리할 이미지의 개수를 표시하고, 상기 1은 상기 Y 채널 이미지, 상기 U 채널 이미지 또는 상기 V 채널 이미지가 1 개 채널인 것을 표시하며, 상기 3은 상기 YUV 이미지가 3개 채널인 것을 표시하고, 상기 W은 상기 처리할 이미지의 너비이고, 상기 H는 상기 처리할 이미지의 높이이다.
선택적으로, 상기 분리 유닛은,
상기 UV 채널 이미지를 차원이(N,2,W*H*0.25)인 UV 채널 이미지로 조절하는 제1 조절 서브 유닛;
상기 차원이 (N,2,W*H*0.25)인 UV 채널 이미지를 분리하여, 차원이 (N,1,W*H*0.25)인 U 채널 이미지와 차원이 (N,1,W*H*0.25)인 V 채널 이미지를 획득하는 분리 서브 유닛; 및
상기 차원이 (N,1,W*H*0.25)인 U 채널 이미지를 상기 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지로 조절하고, 상기 차원이 (N,1,W*H*0.25)인 V 채널 이미지를 상기 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지로 조절하는 제2 조절 서브 유닛; 을 포함한다.
선택적으로, 상기 샘플링 유닛은 구체적으로, nearest 보간 함수를 사용하여, 상기 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 상기 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지에 대해 각각 2배의 가장 이웃된 업 샘플링을 수행하여, 상기 차원이 (N,1,W,H)인 U 채널 이미지와 상기 차원이 (N,1,W,H)인 V 채널 이미지를 획득하는데 사용된다.
선택적으로, 상기 사전처리 모듈은 구체적으로, 배치 정규화 함수를 이용하여, 상기 3 채널 RGB 이미지를 사전처리 하는데 사용된다.
선택적으로, 상기 배치 정규화 함수는,
여기서, 상기 output는 사전처리 후의 이미지의 픽셀 값을 표시하고, 상기 input는 사전처리 전의 이미지의 픽셀 값을 표시하며, 상기 scale은 스케일링 계수를 표시하고, 상기 bias는 바이어스 값을 표시하며, 상기 mean는 평균 값을 표시하고, 상기 variance는 분산을 표시하며, 상기 epsilon는 기설정된 나눗셈 수치 안정 계수를 표시한다.
선택적으로, 상기 장치는,
상기 3 채널 RGB 이미지 사이즈를 조절하는 조절 모듈; 을 더 포함하고,
상기 사전처리 모듈은 구체적으로, 사이즈를 조절한 후의 3 채널 RGB 이미지를 사전처리하는데 사용된다.
제3 측면에 있어서, 본 출원의 실시예에서 전자 기기를 더 제공한다. 상기 전자 기기는,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결된 메모리; 를 포함하고,
상기 메모리는 상기 적어도 하나의 프로세서에 의해 실행되는 명령을 저장하며, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되며, 상기 적어도 하나의 프로세서는 상기 명령에 의해 상술한 이미지 처리 방법을 실시한다.
제4 측면에 있어서, 본 출원의 실시예는 컴퓨터 명령을 저정하고 있는 비일시적 컴퓨터 판독 가능 저장 매체를 제공한다. 상기 컴퓨터는 상기 컴퓨터 명령에 의해 상술한 이미지 처리 방법을 실시한다.
상술한 본 출원의 일 실시예는 구체적으로 아래와 같은 우점과 유익 효과가 있다. 이미지 사전처리 과정에서, 전환하여 회득된 3 채널 YUV 이미지중의 Y 채널 이미지, U 채널 이미지 및 V 채널 이미지를 콘볼루션 연산을 통해 사전처리하여, 3 채널 RGB 이미지를 획득한다. 또한 당해 3 채널 RGB 이미지를 사전처리하여, YUV 이미지를 RGB 이미지로 전환하는 시간이 단축되므로 이미지 사전처리 속도가 향상된다. 처리할 이미지를 획득하고, 상기 처리할 이미지를 3 채널 YUV 이미지로 전환하며, 상기 3 채널 YUV 이미지중의 Y 채널 이미지, U 채널 이미지 및 V 채널 이미지에 대해 콘볼루션 연산을 수행하여, 각각 R 채널 이미지, G채널 이미지 및 B 채널 이미지를 생성하여, 3 채널 RGB 이미지를 획득하고, 상기 3 채널 RGB 이미지에 대해 사전처리 기술 수단을 수행한다. 따라서, 기존 이미지 사전처리 방식의 느린 처리 속도의 기술적 문제를 극복하고, 나아가 이미지 사전처리 속도를 향상시키는 기술적 효과를 달성한다.
상술한 선택적인 방식에 구비되는 기타 효과는 아래의 명세서에서 구체적인 실시예에 결부시켜 진일보로 설명한다.
도면들은 본 방안을 보다 잘 이해하기 위해 사용하는 것일 뿐, 본 출원을 한정하는 것은 아니다.
도 1은 본 출원의 실시예의 이미지 처리 방법의 흐름도이다.
도 2는 본 출원의 구체적인 실시예중의 콘볼루션 연산 과정의 예시도이다.
도 3은 본 출원의 구체적인 실시예중의 이미지 전환 및 사전처리 과정의 흐름도이다.
도 4는 본 출원의 실시예에 따른 이미지 처리 방법 구현하는 이미지 처리 장치 블록도이다.
도 5는 본 출원의 실시예에 따른 이미지 처리 방법 구현하는 전자 기기 블록도이다.
도 1은 본 출원의 실시예의 이미지 처리 방법의 흐름도이다.
도 2는 본 출원의 구체적인 실시예중의 콘볼루션 연산 과정의 예시도이다.
도 3은 본 출원의 구체적인 실시예중의 이미지 전환 및 사전처리 과정의 흐름도이다.
도 4는 본 출원의 실시예에 따른 이미지 처리 방법 구현하는 이미지 처리 장치 블록도이다.
도 5는 본 출원의 실시예에 따른 이미지 처리 방법 구현하는 전자 기기 블록도이다.
이하, 도면에 결부하여, 본 출원의 예시적인 실시예들을 설명하되. 여기에 포함된 이해를 돕기위한 본 출원의 실시예들의 다양한 세부 사항들은 단지 예시적인 것으로 간주되어야 한다. 따라서, 당업자들은 여기에 설명된 실시예들에 대해 다양한 변경 및 수정을 수행할 수 있으며, 이는 본 출원의 범위 및 사상을 벗어나지 않음을 인식해야 한다. 마찬가지로, 이하의 설명에서, 명확성과 간결성을 위해 공지의 기능 및 구조에 대한 설명은 생략한다.
본 출원의 설명과 청구항에서 "제1", "제2" 등은 특정 순서의 설명 또는 순차적인 순서를 설명하는것이 아니고, 유사한 대상을 구별하기 위한 것이다. 이렇게 사용된 데이터는 적절한 경우 교체될 수 있고, 이는 상술한 본 출원의 실시예가 본 명세서에서 도시된 내용 또는 설명한 내용 이외의 순서를 포함할 수 있게 한다. 이외, 본 명세서에서, 용어 '포함', '내포' 또는 기타 임의의 변체는 비배타적인 포함을 포괄하며, 예컨대, 일련의 단계 또는 유닛을 포함하는 과정, 방법, 시스템, 물품 또는 기기는, 명시적으로 열거한 그런 단계 및 유닛에만 한정될 것이 아니라, 명시적으로 열거되지 않거나 또는 이러한 과정, 방법, 물품 또는 기기에 고유한 기타 단계 또는 유닛을 더 포함하도록 할 것을 의도한다.
도 1을 참조하면, 도 1은 본 출원의 실시예에서 제공하는 이미지 처리 방법의 흐름도이다. 당해 방법은 전자기기에 적용된다. 도 1에 도시된 바와 같이, 당해 방법은 아래와 같은 단계들을 포함한다.
단계 101, 처리할 이미지를 획득한다.
본 실시예에서, 본 출원의 처리할 이미지는 카메라 장치를 통해 채집할 수 있고, 또는 서비스 단말과 같은 기타 기기로부터 직접 획득할 수도 있다. 본 개시는 처리할 이미지의 타입에 대해서 제한하지 않으며, 예시적으로, 얼굴 이미지, 물체 이미지 및 풍경 이미지 등이 될 수 있다.
일 실시방식에서, 처리할 이미지를 획득한 후, 처리할 이미지의 포맷을 조절할 수 있다. 예컨대, 처리할 이미지의 포맷을 차원은 (W*H*1.5)이고 데이터 타입은 8 비트 부호 없는 정수(uint8)의 어레이인 것으로 조절할 수 있다. 여기서, W는 처리할 이미지의 너비이고, H는 처리할 이미지의 높이이다.
단계 102, 상기 처리할 이미지를 3채널 YUV 이미지로 전환한다.
여기서, 당해 단계에서 전화하여 획득한 YUV 이미지는 차원이 (N,3,W,H)인 YUV 이미지일 수 있다. N는 처리할 이미지의 개수를 표시하고, 3은 당해 YUV 이미지가 3개 채널인 것을 표시하며, W는 당해 YUV 이미지의 너비(처리할 이미지의 너비와 같음)를 표시하고, H는 당해 YUV 이미지의 높이(처리할 이미지의 높이와 같음)를 표시한다.
YUV 이미지의 포맷은, YUV444、YUV422、YUV420、NV12 등 여러가지를 포함할 수 있다. 부동한 YUV 이미지 포맷은 부동한 픽셀 배열 방식을 구비한다. 예컨대, 본 실시예에서 YUV 이미지 포맷은 YUV420으로 선택될 수 있고, YUV420의 픽셀 배열 방식은 모든 Y 채널 픽셀과 UV 채널 픽셀을 열로 교대하여 배열한 것이다.
단계 103, 상기 3 채널 YUV 이미지중의 Y 채널 이미지, U 채널 이미지 및 V 채널 이미지에 대해 콘볼루션 연산을 수행하여, 각각 R 채널 이미지, G 채널 이미지 및 B 채널 이미지를 생성하여 3 채널 RGB 이미지를 획득한다.
본 실시예에서, 당해 단계는 아래와 같은 콘볼루션 함수(conv2d)에 의해 3 채널 YUV 이미지에 대해 콘볼루션 연산을 수행하여, 각각 R 채널 이미지, G 채널 이미지 및 B 채널 이미지를 생성하여 3 채널 RGB 이미지를 획득할 수 있다.
RGB_img = w
YUV_img + b
여기서, RGB_img는 3 채널 RGB 이미지를 표시하고, YUV_img는 3 채널 YUV 이미지를 표시하며, w와 b는 파라미터 매트릭스를 표시하고, 
는 콘볼루션 심볼을 표시한다. 당해 부분의 콘볼루션 연산에 있어서, 콘볼루션 커널의 차원은 (1,1,3,3)이고, 즉 콘볼루션 커널의 크기는 1*1이고, 입력 채널 수는 3이며, 출력 채널 수는 3이다.
일 실시예에서, 상술한 w 파라미터 매트릭스는 선택적으로, [[1,0,1.13983],[1,-0.39465,-0.58060],[1,2.03211,0]]일 수 있고, 상술한 b 파라미터 매트릭스는 선택적으로, [-128*1.13983,128*0.39465+128*0.58060,-128*2.03211]일 수 있다. 이 경우, 도 2에 도시된 바와 같이, 대응되는 콘볼루션 연선 과정(입력은 3 채널 YUV 이미지이고, 출력은 3 채널 RGB 이미지인 것)은 ,
R = Y + 1.13983 * (V-128)；
G = Y - 0.39465 * (U-128) - 0.58060*(V-128)；및
B = Y + 2.03211 * (U-128); 를 포함할 수 있다.
단계 104, 상기 3 채널 RGB 이미지를 사전처리한다.
본 실시예에서, 사전처리 후의 이미지는 이미지 타겟 검측, 오디오 타겟 검측 및 분석 등에 사용될 수 있다. 당해 사전처리는 이미지 정규화 처리를 포함할 수 있다. 당해 단계에서 사전처리 과정은, 배치 정규화 함수를 이용하여, 당해 3 채널 RGB 이미지를 사전처리하는 단계일 수 있다. 따라서, 배치 정규화 함수에 의해 3 채널 RGB 이미지에 대한 통일적인 사전처리를 구현하여, 사전처리 과정을 가속화 할 수 있다.
선택적으로, 당해 배치 정규화 함수는 
수 있다. 여기서, output는 사전처리 후의 이미지의 픽셀 값을 표시하고, input는 사전처리 전의 이미지의 픽셀 값을 표시하며, scale은 스케일링 계수를 표시하고, bias는 바이어스 값을 표시하며, 상기 mean는 평균 값을 표시하고, 상기 variance는 분산을 표시하며, 상기 epsilon는 기설정된 나눗셈 수치 안정 계수를 표시한다. 당해 scale、bias、mean、variance 및 epsilon는 기설정될 수 있다.
선택적인 실시방식에서, 상술한 배치 규정화 함수 중 파라미터 설치는 구체적으로, scale은 [1/σ,1/σ,1/σ]이고, bias는 [μ1/σ，μ2/σ，μ3/σ]이며, mean은 [0,0,0]이고, variance는 [0.999995,0.999995,0.999995]이며, epsilon은 1e-5이다. 진일보로, μ 값은 128일 수 있고, σ 값은 256일 수 있다. epsilon을 1e-5로 설정한 원인은 일부 경우에 epsilon이 1e-5보다 작으면 안되기 때문이다.
선택적으로, 3 채널 RGB 이미지를 획득하는 상기 단계 이후, 상기 방법은, 상기 3 채널 RGB 이미지 사이즈를 조절하여 지정된 사이즈로 조절하는 단계를 더 포함한다. 상기 3채널 RGB 이미지를 사전처리하는 단계는, 사이즈를 조절한 후의 3 채널 RGB 이미지를 사전처리하는 단계를 포함할 수 있다. 따라서, 조절한 이미지의 사이즈 통일을 보장하여, 사전처리 속도를 향상시킬 수 있다.
선택적인 일 실시예에서, 3 채널 RGB 이미지를 사전처리하기 전에, 우선 resize 함수를 호출하여 당해 3 채널 RGB 이미지의 사이즈를 조절할 수 있고, 즉 당해 3 채널 RGB 이미지를 지정된 사이즈로 조절할 수 있다. 당해 resize 함수의 구체적인 형식은, 기존의 일반 형식을 선택할 수 있으며, 여기서 이에 대해 한정하지 않는다.
본 개시 실시예에서의 이미지 처리 방법에 있어서, 이미지 사전처리 과정중, 전환하여 회득된 3 채널 YUV 이미지중의 Y 채널 이미지, U 채널 이미지 및 V 채널 이미지를 콘볼루션 연산을 통해 사전처리하여, 3 채널 RGB 이미지를 획득하고, 또한 당해 3 채널 RGB 이미지를 사전처리하여, YUV 이미지를 RGB 이미지로 전환하는 시간이 단축되므로 이미지 사전처리 속도가 향상된다.
본 출원의 실시예에서, 상술한 단계 102에서 처리할 이미지를 3 채널 YUV 이미지로 전환하는 과정은 이하 과정을 포함할 수 있다.
처리할 이미지를 제1 Y 채널 이미지와 UV 채널 이미지로 분할하고, 당해 분할 과정은 포인터 리디렉션으로 이해할 수 있고, 당해 제1 Y 채널 이미지의 차원은 (W*H)일 수 있으며, 당해 UV 채널 이미지의 차원은 (W*H*0.5)일 수 있다.
상기 제1 Y 채널 이미지를 조절하여, 차원이 (N,1,W,H)인 Y 채널 이미지를 획득하고, N는 처리할 이미지의 개수를 표시하고, 1은 당해 Y 채널 이미지가 1 개 채널인 것을 표시하며, W는 당해 Y 채널 이미지의 너비를 표시하고, H는 Y 채널 이미지의 높이를 표시하며, 선택적으로, 본 실시예는 reshape 함수를 호출하여 제1 Y 채널 이미지를 조절할 수 있다.
상기 UV 채널 이미지를 분리하여, 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지를 획득하고, 1은 당해 Y 채널 이미지 또는 V 채널 이미지가 1개 채널인 것을 표시하고, 당해 W*0.5는 당해 Y 채널 이미지 또는 V 채널 이미지의 너비를 표시하고, 당해 H*0.5는 당해 Y 채널 이미지 또는 V 채널 이미지의 높이를 표시하며, 선택적으로, 본 실시예는 split 함수를 호출하여 채널 이미지를 분리할 수 있다.
상기 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 상기 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지를 각각 2배 샘플링하여, 차원이 (N,1,W,H)인 U 채널 이미지와 차원이 (N,1,W,H)인 V 채널 이미지를 획득하고, 1은 당해 Y 채널 이미지 또는 V 채널 이미지가 1개 채널인 것을 표시하고, 당해 W는 당해 Y 채널 이미지 또는 V채널 이미지의 너비를 표시하며, 당해 H는 당해 Y 채널 이미지 또는 V 채널 이미지의 높이를 표시한다.
차원이 (N,1,W,H)인 Y 채널 이미지, U 채널 이미지 및 V 채널 이미지를 합병하여, 차원이 (N,3,W,H)인 YUV 이미지를 획득하고, 3은 당해 YUH 채널 이미지가 3개 채널인 것을 표시하고, 당해 W는 당해 YUV 이미지의 너비를 표시하며, 당해 H는 당해 YUV 이미지의 높이를 표시하고, 선택적으로, 본 실시예는 concat 함수를 호출하여 차원이 (N,1,W,H)인 Y 채널 이미지, U 채널 이미지 및 V 채널 이미지를 합병하여, 차원이 (N,3,W,H)인 YUV 이미지를 획득한다.
이와 같이, 상기 분리, 샘플링 및 합병의 과정에 의해 후속 콘볼루션 연산의 수요에 만족되는 3 채널 YUV 이미지를 효율적으로 획득할 수 있다.
설명해야 할 것은, 상술한 reshape 함수는 기존의 호출 포맷을 사용할 수 있다. 지정된 매트릭스는 특정 차원수의 매트릭스로 전환할 수 있고, 매트릭스중 요소 개수는 변하지 않으며, 매트릭스의 행수, 열수 및 차원수는 다시 조절할 수 있다. 상술한 split 함수는 기존의 호출 포맷을 사용할 수 있고, UV 채널 이미지를 분리하여, U 채널 이미지와 V 채널 이미지를 획득할 수 있다. 상술한 concat 함수는 기존의 호출 포맷을 사용할 수 있으며, 통상적으로 2개 또는 복수의 어레이에 사용하여 새로운 어레이이를 획득할 수 있다.
선택적으로, 상기 UV 채널 이미지를 분리하여, 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지를 획득하는 과정은 아래 과정을 포함할 수 있다.
상기 UV 채널 이미지를 차원이 (N,2,W*H*0.25)인 UV 채널 이미지로 조절하고, W*H*0.25는 당해 UV 채널 이미지의 너비가 W*0.5이고 당해 UV 채널 이미지의 높이가 H*0.25인 것을 표시하며, 2는 당해 UV 채널 이미지가 2개 채널인 것을 표시한다.
상기 차원이 (N,2,W*H*0.25)인 UV 채널 이미지를 분리하여, 차원이 (N,1,W*H*0.25)인 U 채널 이미지와 차원이 (N,1,W*H*0.25)인 V 채널 이미지를 획득하고, W*H*0.25는 당해 U 채널 이미지의 너비가 W*0.5이고 당해 U 채널 이미지의 높이가 H*0.5인 것을 표시하거나 또는 당해 V 채널 이미지의 너비가 W*0.5이고 당해 V 채널 이미지의 높이가 H*0.5인 것을 표시하며, 1은 당해 U 채널 이미지 또는 V 채널 이미지가 1개 채널인 것을 표시하고, 선택적으로, 본 실시예는 sprit 함수를 호출하여 차원이 (N,2,W*H*0.25)인 UV 채널 이미지를 분리할 수 있다.
상기 차원이 (N,1,W*H*0.25)인 U 채널 이미지를 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지로 조절하고, 및 차원이 (N,1,W*H*0.25)인 V 채널 이미지를 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지로 조절하고, 선택적으로, 본 실시예는 sprit 함수를 호출하여 차원이 (N,1,W*H*0.25)인 U 채널 이미지 또는 차원이 (N,1,W*H*0.25)인 V 채널 이미지를 조절할 수 있다.
선택적으로, 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지를 각각 2배 샘플링하는 과정은, Nearest 보간 함수를 사용하여, 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 상기 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지를 각각 2배의 가장 이웃된 업 샘플링을 수행하여, 차원이 (N,1,W,H)인 U 채널 이미지와 차원이 (N,1,W,H)인 V 채널 이미지를 획득하는 단계일 수 있다. 이와 같이, Nearest 보간 함수를 사용하여 2배의 가장 이웃된 업 샘플링을 수행하므로, 필요한 U 채널 이미지와 V 채널 이미지를 정확하게 샘플링하여 획득할 수 있다.
이하, 도3 을 참조하여 본출원의 구체적인 실시예에서의 이미지 전환 및 사전처리 과정에 대해 설명한다.
본 출원의 구체적인 실시예에서는, 처리할 이미지의 개수를 1로 예로 하고, 처리할 이미지의 사이즈는 1080*1920이며, 이미지 변환 및 사전처리 과정은 뉴럴 네트워크 예측 라이브러리에서 함수를 호출하여 구현하고, 뉴럴 네트워크 프레임 워크 (예컨대, PaddlePaddle)를 이용하여 설명한다. 도 3에 도시된 바와 같이, 당해 뉴럴 네트워크 프레임 워크는 입력층, 모듈 1, 모듈 2, 모듈 3(콘볼루션층), 모듈 4 및 모듈 5(배치 정규화 층)를 포함하고, 대응되는 과정은 아래와 같은 과정을 포함할 수 있다.
입력층에 있어서, 우선 처리할 이미지 1080*1920을 순차적으로 두개 부분인 즉 차원이 (1080*1920)인 Y 채널 이미지와 차원이 (540*960*2)인 UV 채널 이미지로 나누고, 다음 reshape 함수를 호출하여 차원이 (1080*1920)인 Y 채널 이미지를 조절하여 획득한 차원이 (1,1,1080,1920)인 Y 채널 이미지를 입력 노드 1의 입력으로 하며, 동시에 차원이 (1,1,540*960*2)인 UV 채널 이미지를 입력 노드 2의 입력으로 한다.
모듈 1에 있어서, 우선 split 함수를 호출하여 입력 노드 2의 UV 채널 이미지를 분리하여, 차원이 (1,1,540*960)인 U 채널 이미지와 차원이 (N,1,540*960)인 V 채널 이미지를 획득하고, 다음 reshape 함수를 호출하여 차원이 (1,1,540*960)인 U 채널 이미지를 차원이 (1,1,540,960)인 U 채널 이미지로 조절하며, reshape 함수를 호출하여 차원이 (1,1,540*960)인 V 채널 이미지를 차원이 (1,1,540,960)인 V 채널 이미지로 조절한다.
모듈 2에 있어서, 우선 nearest 보간 함수를 사용하여 차원이 (1,1,540,960)인 U 채널 이미지와 차원이 (1,1,540,960)인 V 채널 이미지를 각각 2배의 가장 이웃된 업 샘플링을 수행하여, 차원이 (1,1,1080,1920)인 U 채널 이미지와 차원이 (1,1,1080,1920)인 V 채널 이미지를 획득하고, 다음 concat 함수를 호출하여 차원이 (1,1,1080,1920)인 Y 채널 이미지, 차원이 (1,1,1080,1920)인 U 채널 이미지 및 차원이 (1,1,1080,1920)인 V 채널 이미지를 합병하여, 차원이 (1,3, 1080,1920)인 YUV 이미지를 획득한다.
모듈 3에 있어서, 콘볼루션 함수 conv2d를 호출하여, 차원이 (1,3, 1080,1920)인 YUV 이미지에 대해 콘볼루션 연산을 수행하고, 따라서 R 채널 이미지, G채널 이미지 및 B 채널 이미지를 각각 생성하여 3 채널 RGB 이미지를 획득한다.
모듈 4에 있어서, resize_bilinear 함수를 호출하여, 차원이 (1,3,1080,1920)인 당해 RGB 이미지의 사이즈 크기를 차원이 (1,3,216,384)인 RGB 이미지로 조절한다.
모듈 5에 있어서, 배치 정규화 함수 Batch_norm을 사용하여, 차원이 (1,3,216,384)인 당해 RGB 이미지를 사전처리하여, 차원이 (1,3,216,384)인 배치 정규화 RGB 이미지를 획득한다.
이와 같이, 뉴렬 네트워크 예측 라이브러리중 함수를 호출하므로, 이미지 사전처리 속도가 현저히 향상된다.
도 4를 참조하면, 도 4는 본 출원의 실시예에 따른 이미지 처리 장치의 구조 예시도이다. 도 4에 도시된 바와 같이, 당해 처리 장치(40)는,
처리할 이미지를 획득하는 획득 모듈(41);
상기 처리할 이미지를 3 채널 YUV 이미지로 전환하는 전환 모듈(42);
상기 3 채널 YUV 이미지중의 Y 채널 이미지, U 채널 이미지 및 V 채널 이미지에 대해 콘볼루션 연산을 수행하여, 각각 R 채널 이미지, G채널 이미지 및 B 채널 이미지를 생성하여 3 채널 RGB 이미지를 획득하는 연산 모듈(43); 및
상기 3 채널 RGB 이미지를 사전처리 하는 사전처리 모듈(44); 을 포함한다.
선택적으로, 상기 전환 모듈(42)은,
상기 처리할 이미지를 제1 Y 채널 이미지와 UV 채널 이미지로 분할하는 분할 유닛;
상기 제1 Y 채널 이미지를 조절하여, 차원이 (N,1,W,H)인 Y 채널 이미지를 획득하는 조절 유닛;
상기 UV 채널 이미지를 분리하여, 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지를 획득하는 분리 유닛;
상기 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 상기 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지를 각각 2배 샘플링하여, 차원이 (N,1,W,H)인 U 채널 이미지와 차원이 (N,1,W,H)인 V 채널 이미지를 획득하는 샘플링 유닛; 및
차원이 (N,1,W,H)인 Y 채널 이미지, U 채널 이미지 및 V 채널 이미지를 합병하여, 차원이 (N,3,W,H)인 YUV 이미지를 획득하는 합병 유닛;을 포함하고
여기서, 상기 N는 상기 처리할 이미지의 개수를 표시하고, 상기 1은 상기 Y 채널 이미지, 상기 U 채널 이미지 또는 상기 V 채널 이미지가 1 개 채널인 것을 표시하며, 상기 3은 상기 YUV 이미지가 3개 채널인 것을 표시하고, 상기 W은 상기 처리할 이미지의 너비이고, 상기 H는 상기 처리할 이미지의 높이이다.
선택적으로, 상기 분리 유닛은,
상기 UV 채널 이미지를 차원이 (N,2,W*H*0.25)인 UV 채널 이미지로 조절하는 제1 조절 서브 유닛;
상기 차원이 (N,2,W*H*0.25)인 UV 채널 이미지를 분리하여, 차원이 (N,1,W*H*0.25)인 U 채널 이미지와 차원이 (N,1,W*H*0.25)인 V 채널 이미지를 획득하는 분리 서브 유닛; 및
상기 차원이 (N,1,W*H*0.25)인 U 채널 이미지를 상기 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지로 조절하고, 상기 차원이 (N,1,W*H*0.25)인 V 채널 이미지를 상기 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지로 조절하는 제2 조절 서브 유닛; 을 포함한다.
선택적으로, 상기 샘플링 유닛은 구체적으로, nearest 보간 함수를 사용하여, 상기 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 상기 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지에 대해 각각 2배의 가장 이웃된 업 샘플링을 수행하여, 상기 차원이 (N,1,W,H)인 U 채널 이미지와 상기 차원이 (N,1,W,H)인 V 채널 이미지를 획득하는데 사용된다.
선택적으로, 상기 사전처리 모듈(44)은 구체적으로, 배치 정규화 함수를 이용하여, 상기 3 채널 RGB 이미지를 사전처리 하는데 사용된다.
선택적으로, 상기 배치 정규화 함수는,
여기서, 상기 output는 사전처리 후의 이미지의 픽셀 값을 표시하고, 상기 input는 사전처리 전의 이미지의 픽셀 값을 표시하며, 상기 scale은 스케일링 계수를 표시하고, 상기 bias는 바이어스 값을 표시하며, 상기 mean는 평균 값을 표시하고, 상기 variance는 분산을 표시하며, 상기 epsilon는 기설정된 나눗셈 수치 안정 계수를 표시한다.
선텍적으로, 상기 장치는,
상기 3 채널 RGB 이미지 사이즈를 조절하는 조절 모듈;을 더 포함하고,
상기 사전처리 모듈(44)은 구체적으로, 사이즈를 조절한 후의 3 채널 RGB 이미지를 사전처리하는데 사용된다.
이해해야 할 것은, 본 출원 실시예의 이미지 처리 장치(40)는 도 1에 도시된 방법 실시예에서 구현된 각 과정을 구현할 수 있고, 동일한 유익효과도 달성할 수 있으므로, 반복을 피면하기 위하여, 여기서 더이상 기술하지 않기로 한다.
본 출원의 실시예에 따라, 본 개시는 전자기기와 판독 가능 자장 메체를 더 제공한다.
도 5에 도시된 바와 같이, 도 5는 본 출원의 실시예에 따른 이미지 처리 방법 구현하는 전자 기기 블록도이다. 전자 기기는 예컨대, 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인용 디지털 보조기, 서버, 블레이드 서버, 메인 프레임 컴퓨터 및 기타 적합한 컴퓨터 등과 같은 다양한 형태의 디지털 컴퓨터를 가리킨다. 전자 기기는 예컨대, 개인 디지털 프로세서, 셀룰러 전화, 스마트폰, 웨어러블 기기 및 기타 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 가리킬 수도 있다. 본 명세서에서 예시된 어셈블리, 이들의 연결과 관계 및 이들의 기능들은 단지 예시적일 뿐, 본 명세서에서 설명 및/ 또는 청구한 본 출원의 구현을 제한하려는 의도가 아니다.
도 5에 도시된 바와 같이, 당해 전자 기기는, 하나 또는 복수의 프로세서(501), 메모리(502) 및 각 어셈블리를 연결하기 위한 인터페이스를 포함하고, 상기 인터페이스는 고속 인터페이스 및 저속 인터페이스를 포함한다. 각 어셈블리는 부동한 버스를 이용하여 서로 연결되며, 공통 마더 보드에 설치되거나 필요에 따라 다른 방식으로 설치될 수 있다. 프로세서는 전자 기기내에서 수행되는 명령을 처리할 수 있고, 상기 명령은 메모리내 또는 메모리 상에 저장되어 외부 입력/ 출력 장치(예컨대, 인터페이스에 연결된 디스플레이 기기)상에 GUI의 그래픽 정보를 표시하기 위한 명령을 포함한다. 다른 실시예에서, 필요할 경우, 각 프로세서 및/ 또는 복수의 버스를 복수의 메모리 및 복수의 메모리와 함께 사용할 수 있다. 마찬가지로, 복수의 전자 기기를 연결할 수 있으며, 각 기기는 부분적으로 필요한 운영(예컨대, 서버 어레이, 블레이드 서버 그룹, 또는 다중 프로세서 시스템)을 제공할 수 있다. 도 5에서는 하나의 프로세서(501)로 예를 든다.
메모리(502)는 본 출원에서 제공하는 비일시적 컴퓨터 판독 가능 저장 매체이다. 여기서, 상기 메모리는 적어도 하나의 프로세서에 의해 수행될 수 있는 명령을 저장하여, 상기 적어도 하나의 프로세서는 본 출원에서 제공되는 이미지 처리 방법을 수행한다. 본 출원의 비일시적 컴퓨터 판독 가능 저장 매체는 컴퓨터 명령을 저장하고, 당해 컴퓨터 명령은 컴퓨터로 하여금 본 출원에서 제공하는 이지지 처리 방법을 수행하도록 한다.
메모리(502)는 비일시적 컴퓨터 판독 가능 저장 매체로써, 본 출원의 실시예에서의 이미지 처리 방법에 대응되는 프로그램 명령 / 모듈(예컨대, 도 4에 도시된 획득 모듈(41), 전환 모듈(42), 연산 모듈(43) 및 전처릴 모듈(44))과 같은 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 수행 가능 프로그램 및 모듈을 저장할 수 있다. 프로세서(501)는 메모리(502)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 수행함으로써, 서버의 다양한 기능적 애플리케이션 및 데이터 처리를 수행하며, 즉 상술한 방법 실시예에서의 이미지 처리 방법을 구현한다.
메모리(502)는 저장 프로그램 영역 및 저장 데이터 영역을 포함할 수 있으며, 저장 프로그램 영역은 운영 체제, 적어도 하나의 기능에 필요한 응용 프로그램을 저장할 수 있으며; 저장 데이터 영역은, 전자 기기를 사용하여 생성된 테이터 등을 저장할 수 있다. 또한, 메모리(502)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 예컨대, 적어도 하나의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비일시적 고체상태 저장 장치와 같은 비일시적 메모리를 포함할 수 있다. 일부 실시예에서, 메모리(502)는 선택적으로 프로세서(501)에 비해 상대적으로 원격설정한 메모리를 포함할 수 있으며, 이러한 원격 메모리는 네트워크를 통해 전자 기기에 연결될 수 있다. 상기 네트워크의 예시로는 인터넷, 인트라넷, 근거리 통신망, 이동 통신 네트워크 및 이들의 조합을 포함하지만 이에 한정되지 않는다.
이미지 처리 방법의 전자 기기는, 입력 장치(503) 및 출력 장치(504)를 더 포함할 수 있다. 프로세서(501), 메모리(502), 입력 장치(503) 및 출력 장치(504)는 버스 또는 기타 방식으로 연결될 수 있으며, 도 5에서는 버스에 의해 연결된 것을 예로 한다.
입력 장치(503)는, 입력된 디지털 또는 문자 정보를 수신하고, 이미지 처리 방법의 전자 기기의 사용자 설정 및 기능 제어와 관련된 키 신호, 예컨대, 터치 스크린, 키패드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조이스틱 등 입력 장치를 생성할 수 있다. 출력 장치(504)는 디스플레이 기기, 보조 조명 장치(예컨대, LED), 촉각 피드백 장치 (예컨대, 진동 모터) 등을 포함할 수 있다. 당해 디스플레이 기기는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있으나 이에 제한되지 않는다. 일부 실시예에서, 디스플레이 장치는 터치 스크린일 수 있다.
여기서 기술된 시스템 및 기술의 다양한 실시방식은 디지털 전자 회로 시스템, 집적 회로 시스템, 주문형 ASIC (주문형 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및 / 또는 이들의 조합으로 구현될 수 있다. 이러한 다양한 실시방식은, 하나 또는 복수의 컴퓨터 프로그램에서 실시되고, 당해 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그래밍 가능 프로세서를 포함한 프로그래밍 가능 시스템에서 수행 및/또는 해석될 수 있으며, 당해 프로그래밍 가능 프로세서는 전용 또는 범용 프로그래밍 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신하며, 데이터 및 명령을 당해 저장 시스템, 당해 적어도 하나의 입력 장치 및 당해 적어도 하나의 출력 장치로 전송할 수 있는 것을 포함할 수 있다.
이러한 컴퓨팅 프로그램 (또한 프로그램, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드로도 칭함)은 프로그래밍 가능 프로세서의 머신 명령을 포함할수 있고, 하이 레벨 프로세스 및 / 또는 객체 지향 프로그래밍 언어, 및 / 또는 어셈블리 / 머신 언어를 이용하여 이러한 컴퓨팅 프로그램을 실시할 수 있다. 본 명세서에서 사용되는 "머신 판독 가능 매체" 및 "컴퓨터 판독 가능 매체" 라는 용어는 머신 명령 및 / 또는 데이터를 프로그램 가능 프로세서에 제공하는 임의의 컴퓨터 프로그램 제품, 기기 및 / 또는 장치(예컨대, 자기 디스크, 광 디스크, 메모리, 프로그래밍 가능 논리 장치 (PLD) )를 가리키고, 머신 판독 가능 신호로써의 머신 명령을 수신하는 머신 판독 가능 매체를 포함한다. 용어 "머신 판독 가능 신호" 는 머신 명령 및 / 또는 데이터를 프로그램 가능 프로세서에 제공하는 임의의 신호를 가리킨다.
사용자와의 교호를 제공하기 위해, 여기에 설명 된 시스템 및 기술은 컴퓨터에서 실시될 수 있다. 당해 컴퓨터는, 사용자에게 정보를 표시하는 디스플레이 장치 (예컨대, CRT (음극선 파이프) 또는 LCD (액정 디스플레이) 모니터); 및 키보드 와 포인팅 장치 (예컨대, 마우스 또는 트랙볼) 를 구비한다. 사용자는 당해 키보드 및 당해 포인팅 장치를 통해 컴퓨터에 입력을 제공할 수 있다. 다른 타입의 장치는 사용자와의 교호를 제공할 수도 있다. 예컨대, 사용자에게 제공되는 피드백은 임의 형태의 센서 피드백 (예컨대, 비전 피드백, 청각 피드백, 또는 촉각 피드백)일 수 있으며; 또한 임의 형식(음향 입력, 음성 입력, 촉각 입력을 포함)으로 사용자로부터의 입력을 수신할 수도 있다.
여기서 기술된 시스템 및 기술은, 백엔드 어셈블리를 포함한 컴퓨팅 시스템(예컨대, 데이터 서버), 또는 미들웨어 어셈블리를 포함한 컴퓨팅 시스템(예컨대, 애플리케이션 서버), 또는 프런트 엔드 어셈블리를 포함한 컴퓨팅 시스템(예컨대, 그래픽 사용자 인터페이스 또는 웹 브라우저를 구비한 사용자 컴퓨터이며, 사용자는 당해 그래픽 사용자 인터페이스 또는 당해 웹 브라우저를 통해 여기서 기술된 시스템 및 기술의 실시 방식과 교호할 수 있음), 또는 이러한 백엔드 어셈블리, 미들웨어 어셈블리, 또는 프런트 엔드 어셈블리들의 임의의 조합인 컴퓨팅 시스템에서 실시될 수 있다. 시스템의 어셈블리는 임의의 형태 또는 매체인 디지털 데이터 통신(예컨대, 통신 네트워크)에 의해 서로 연결될 수 있다. 통신 네트워크의 예시로는, 근거리 통신망(LAN), 광역 네트워크(WAN) 및 인터넷이 있다.
컴퓨터 시스템에는 클라이언트 및 서버가 포함될 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며, 또한 일반적으로 통신 네트워크를 통해 교호한다. 상응한 컴퓨터에서 수행되며 서로 클라이언트-서버 관계가 있는 컴퓨터 프로그램에 의해 클라이언트와 서버 간의 관계가 생성된다.
본 출원의 실시예의 기술방안에 따라, 이미지 사전처리 과정에, 전환하여 회득된 3 채널 YUV 이미지중의 Y 채널 이미지, U 채널 이미지 및 V 채널 이미지를 콘볼루션 연산을 통해 처리하여, 3 채널 RGB 이미지를 획득한다. 또한 당해 3 채널 RGB 이미지를 사전처리하여, YUV 이미지를 RGB 이미지로 전환하는 시간이 단축되므로 이미지 사전처리 속도가 향상된다.
위에서 예시된 다양한 형태의 공정에 의해, 단계들은 재정렬, 추가 또는 삭제될수 있음을 이해해야 한다. 예컨대, 본 출원에서 기재된 각 단계들은 병렬, 순차적 또는 다른 순서로 수행될 수 있으며, 본 출원에서 기술된 기술방안이 기대하는 결과를 달성할 수 있다면, 본 명세서는 이에 대해 한정하지 않는다.
상기 구체적인 실시예는, 본 출원의 보호 범위에 대한 제한을 구성하지 않는다. 당업자는 설계 요구 및 기타 요소에 따라 다양한 수정, 조합, 서브 조합 및 대체가 이루어질 수 있음을 이해해야 한다. 본 출원의 정신과 원칙 내에서 이루어진 모든 수정, 동등한 대체 및 개진은 모두 본 출원의 보호 범위내에 포함된다.
Claims (15)
- 이미지 처리 방법에 있어서,
상기 방법은,
처리할 이미지를 획득하는 단계;
상기 처리할 이미지를 3 채널 YUV 이미지로 전환하는 단계;
상기 3 채널 YUV 이미지중의 Y 채널 이미지, U 채널 이미지 및 V 채널 이미지에 대해 콘볼루션 연산을 수행하여, 각각 R 채널 이미지, G채널 이미지 및 B 채널 이미지를 생성하여 3 채널 RGB 이미지를 획득하는 단계;
상기 3 채널 RGB 이미지를 사전처리 하는 단계; 를 포함하는，
이미지 처리 방법. - 제1항에 있어서,
상기 처리할 이미지를 3 채널 YUV 이미지로 전환하는 단계는,
상기 처리할 이미지를 제1 Y 채널 이미지와 UV 채널 이미지로 분할하는 단계;
상기 제1 Y 채널 이미지를 조절하여, 차원이 (N,1,W,H)인 Y 채널 이미지를 획득하는 단계;
상기 UV 채널 이미지를 분리하여, 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지를 획득하는 단계;
상기 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 상기 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지를 각각 2배 샘플링하여, 차원이 (N,1,W,H)인 U 채널 이미지와 차원이 (N,1,W,H)인 V 채널 이미지를 획득하는 단계; 및
차원이 (N,1,W,H)인 Y 채널 이미지, U 채널 이미지 및 V 채널 이미지를 합병하여, 차원이 (N,3,W,H)인 YUV 이미지를 획득하는 단계; 를 포함하고,
상기 N은 상기 처리할 이미지의 개수를 표시하고, 상기 1은 상기 Y 채널 이미지, 상기 U 채널 이미지 또는 상기 V 채널 이미지가 하나의 채널인 것을 표시하고, 상기 3은 상기 YUV 이미지가 3개의 채널인 것을 표시하고, 상기 W는 상기 처리할 이미지의 너비와 같고, 상기 H는 상기 처리할 이미지의 높이와 같은,
이미지 처리 방법. - 제2항에 있어서,
상기 UV 채널 이미지를 분리하여, 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지를 획득하는 단계는,
상기 UV 채널 이미지를 차원이 (N,2,W*H*0.25)인 UV 채널 이미지로 조절하는 단계;
상기 차원이 (N,2,W*H*0.25)인 UV 채널 이미지를 분리하여, 차원이 (N,1,W*H*0.25)인 U 채널 이미지와 차원이 (N,1,W*H*0.25)인 V 채널 이미지를 획득하는 단계; 및
상기 차원이 (N,1,W*H*0.25)인 U 채널 이미지를 상기 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지로 조절하고, 및 상기 차원이 (N,1,W*H*0.25)인 V 채널 이미지를 상기 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지로 조절하는 단계; 를 포함하는,
이미지 처리 방법. - 제2항에 있어서,
상기 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 상기 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지를 각각 2배 샘플링하여, 차원이 (N,1,W,H)인 U 채널 이미지와 차원이 (N,1,W,H)인 V 채널 이미지를 획득하는 단계는,
nearest 보간 함수를 사용하여, 상기 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 상기 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지를 각각 2배의 가장 이웃된 업 샘플링을 수행하여, 상기 차원이 (N,1,W,H)인 U 채널 이미지와 상기 차원이 (N,1,W,H)인 V 채널 이미지를 획득하는 단계를 포함하는,
이미지 처리 방법. - 제1항에 있어서,
상기 3 채널 RGB 이미지를 사전처리 하는 단계는,
배치 정규화 함수를 이용하여, 상기 3 채널 RGB 이미지를 사전처리하는 단계를 포함하는，
이미지 처리 방법. - 제5항에 있어서,
상기 배치 정규화 함수는,
이고,
여기서, 상기 output는 사전처리 후의 이미지의 픽셀 값을 표시하고, 상기 input는 사전처리 전의 이미지의 픽셀 값을 표시하며, 상기 scale은 스케일링 계수를 표시하고, 상기 bias는 바이어스 값을 표시하며, 상기 mean는 평균 값을 표시하고, 상기 variance는 분산을 표시하며, 상기 epsilon는 기설정된 나눗셈 수치 안정 계수를 표시하는,
이미지 처리 방법. - 제1항에 있어서,
상기 3 채널 RGB 이미지를 획득하는 단계 후에, 상기 방법은,
상기 3 채널 RGB 이미지의 사이즈를 조절하는 단계; 를 더 포함하고,
상기 3 채널 RGB 이미지를 사전처리하는 단계는,
사이즈를 조절한 후의 3 채널 RGB 이미지를 사전처리하는 단계를 포함하는,
이미지 처리 방법. - 이미지 처리 장치에 있어서,
상기 장치는,
처리할 이미지를 획득하는 획득 모듈;
상기 처리할 이미지를 3 채널 YUV 이미지로 전환하는 전환 모듈;
상기 3 채널 YUV 이미지중의 Y 채널 이미지, U 채널 이미지 및 V 채널 이미지에 대해 콘볼루션 연산을 수행하여, 각각 R 채널 이미지, G채널 이미지 및 B 채널 이미지를 생성하여 3 채널 RGB 이미지를 획득하는 연산 모듈; 및
상기 3 채널 RGB 이미지를 사전처리 하는 사전처리 모듈; 을 포함하는,
이미지 처리 장치. - 제8항에 있어서,
상기 전환 모듈은,
상기 처리할 이미지를 제1 Y 채널 이미지와 UV 채널 이미지로 분할하는 분할 유닛;
상기 제1 Y 채널 이미지를 조절하여, 차원이 (N,1,W,H)인 Y 채널 이미지를 획득하는 조절 유닛;
상기 UV 채널 이미지를 분리하여, 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지를 획득하는 분리 유닛;
상기 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 상기 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지를 각각 2배 샘플링하여, 차원이 (N,1,W,H)인 U 채널 이미지와 차원이 (N,1,W,H)인 V 채널 이미지를 획득하는 샘플링 유닛; 및
차원이 (N,1,W,H)인 Y 채널 이미지, U 채널 이미지 및 V 채널 이미지를 합병하여, 차원이 (N,3,W,H)인 YUV 이미지를 획득하는 합병 유닛; 을 포함하고,
상기 N은 상기 처리할 이미지의 개수를 표시하고, 상기 1은 상기 Y 채널 이미지, 상기 U 채널 이미지 또는 상기 V 채널 이미지가 하나의 채널인 것을 표시하고, 상기 3은 상기 YUV 이미지가 3개의 채널인 것을 표시하고, 상기 W는 상기 처리할 이미지의 너비와 같고, 상기 H는 상기 처리할 이미지의 높이와 같은,
이미지 처리 장치. - 제9항에 있어서,
상기 분리 유닛은,
상기 UV 채널 이미지를 차원이 (N,2,W*H*0.25)인 UV 채널 이미지로 조절하는 제1 조절 서브 유닛;
상기 차원이 (N,2,W*H*0.25)인 UV 채널 이미지를 분리하여, 차원이 (N,1,W*H*0.25)인 U 채널 이미지와 차원이 (N,1,W*H*0.25)인 V 채널 이미지를 획득하는 분리 서브 유닛; 및
상기 차원이 (N,1,W*H*0.25)인 U 채널 이미지를 상기 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지로 조절하고, 상기 차원이 (N,1,W*H*0.25)인 V 채널 이미지를 상기 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지로 조절하는 제2 조절 서브 유닛; 을 포함하는,
이미지 처리 장치. - 제9항에 있어서,
상기 샘플링 유닛은 구체적으로,
nearest 보간 함수를 사용하여, 상기 차원이 (N,1,W*0.5,H*0.5)인 U 채널 이미지와 상기 차원이 (N,1,W*0.5,H*0.5)인 V 채널 이미지에 대해 각각 2배의 가장 이웃된 업 샘플링을 수행하여, 상기 차원이 (N,1,W,H)인 U 채널 이미지와 상기 차원이 (N,1,W,H)인 V 채널 이미지를 획득하는데 사용되는,
이미지 처리 장치. - 제 8 항에 있어서,
상기 사전처리 모듈은 구체적으로, 배치 정규화 함수를 이용하여, 상기 3 채널 RGB 이미지를 사전처리 하는데 사용되는,
이미지 처리 장치. - 전자 기기에 있어서,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결된 메모리; 를 포함하고,
상기 메모리는 상기 적어도 하나의 프로세서에 의해 실행되는 명령을 저장하며, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되여, 상기 적어도 하나의 프로세서로 하여금 제1항 내지 제7항 중 임의의 어느 한 항의 상기 방법을 실시하도록 하는,
전자 기기. - 컴퓨터 명령을 저정하고 있는 비일시적 컴퓨터 판독 가능 저장 매체에서,
상기 컴퓨터는 상기 컴퓨터 명령에 의해 제1항 내지 제7항 중 임의의 어느 한 항의 상기 방법을 실시하는,
비일시적 컴퓨터 판독 가능 저장 매체. - 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은 적어도 하나의 프로세서에 의해 실행될 경우, 청구항 제1항 내지 제7항 중 임의의 어느 한 항에 따른 상기 방법을 구현하는 것인,
컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010305880.9 | 2020-04-17 | ||
| CN202010305880.9A CN111508038A (zh) | 2020-04-17 | 2020-04-17 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210035108A true KR20210035108A (ko) | 2021-03-31 |
| KR102600806B1 KR102600806B1 (ko) | 2023-11-10 |
Family
ID=71864721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210031399A KR102600806B1 (ko) | 2020-04-17 | 2021-03-10 | 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11930307B2 (ko) |
| EP (1) | EP3893479B1 (ko) |
| JP (1) | JP7146985B2 (ko) |
| KR (1) | KR102600806B1 (ko) |
| CN (1) | CN111508038A (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015154425A (ja) * | 2014-02-18 | 2015-08-24 | ブラザー工業株式会社 | 画像処理装置、および、コンピュータプログラム |
| JP2016115304A (ja) * | 2014-12-18 | 2016-06-23 | シャープ株式会社 | 画像処理装置 |
Family Cites Families (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5838299A (en) * | 1995-05-03 | 1998-11-17 | Apple Computer, Inc. | RGB/YUV video convolution system |
| US20040042686A1 (en) * | 2002-09-04 | 2004-03-04 | Eastman Kodak Company | Resizing digital images for digital camera-printer systems |
| US7426308B2 (en) * | 2003-07-18 | 2008-09-16 | Microsoft Corporation | Intraframe and interframe interlace coding and decoding |
| JP2006013701A (ja) * | 2004-06-23 | 2006-01-12 | Seiko Epson Corp | 表示コントローラ、電子機器及び画像データ供給方法 |
| WO2009044827A1 (ja) * | 2007-10-05 | 2009-04-09 | Sharp Kabushiki Kaisha | 色調整回路 |
| JP2010034713A (ja) * | 2008-07-25 | 2010-02-12 | Noritsu Koki Co Ltd | 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置 |
| JP5509828B2 (ja) * | 2009-12-11 | 2014-06-04 | カシオ計算機株式会社 | 画像分類装置と画像分類方法、及びプログラム |
| CN101923455B (zh) * | 2010-09-01 | 2012-02-08 | 武汉大学 | 一种yuv格式的数字图像显示和分析方法 |
| US8860716B2 (en) * | 2010-10-13 | 2014-10-14 | 3D Nuri Co., Ltd. | 3D image processing method and portable 3D display apparatus implementing the same |
| JP2012108898A (ja) * | 2010-10-29 | 2012-06-07 | Jvc Kenwood Corp | 画像処理装置、画像処理方法 |
| JP5648849B2 (ja) * | 2011-02-21 | 2015-01-07 | 株式会社Ｊｖｃケンウッド | 画像処理装置、画像処理方法 |
| CN102073987A (zh) | 2010-12-30 | 2011-05-25 | 深圳市融创天下科技发展有限公司 | 一种yuv420图像转换成rgb565图像的方法和系统 |
| US9832388B2 (en) * | 2014-08-04 | 2017-11-28 | Nvidia Corporation | Deinterleaving interleaved high dynamic range image by using YUV interpolation |
| JP6045625B2 (ja) | 2015-03-20 | 2016-12-14 | 株式会社Pfu | 画像処理装置、領域検出方法及びコンピュータプログラム |
| KR101899101B1 (ko) * | 2016-06-01 | 2018-09-14 | 서울대학교 산학협력단 | 인공 신경망 기반 예측 모델 생성 장치 및 방법 |
| CN106331532A (zh) * | 2016-08-26 | 2017-01-11 | 北京金山安全软件有限公司 | 一种数据转换方法、装置及电子设备 |
| CN106447606A (zh) * | 2016-10-31 | 2017-02-22 | 南京维睛视空信息科技有限公司 | 一种快速实时的视频美颜方法 |
| CN106960243A (zh) * | 2017-03-06 | 2017-07-18 | 中南大学 | 一种改进卷积神经网络结构的方法 |
| WO2018184102A1 (en) * | 2017-04-03 | 2018-10-11 | Royal Bank Of Canada | Systems and methods for malicious code detection |
| CN107220934B (zh) * | 2017-05-15 | 2021-03-30 | 北京小米移动软件有限公司 | 图像重建方法及装置 |
| CN107680031A (zh) * | 2017-09-29 | 2018-02-09 | 郑州云海信息技术有限公司 | 一种rgb转yuv方法、系统及计算机可读存储介质 |
| CN108111859B (zh) * | 2017-12-29 | 2020-10-09 | 北京华航无线电测量研究所 | 基于JetsonTX1平台的H.264视频编解码方法 |
| JP2019153057A (ja) * | 2018-03-02 | 2019-09-12 | 富士通株式会社 | 画像処理装置、学習装置、画像処理方法、学習方法、画像処理プログラムおよび学習プログラム |
| CN108259997B (zh) * | 2018-04-02 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 图像相关处理方法及装置、智能终端、服务器、存储介质 |
| CN108364270B (zh) * | 2018-05-22 | 2020-11-06 | 北京理工大学 | 偏色图像颜色还原方法及装置 |
| CN108921283A (zh) * | 2018-06-13 | 2018-11-30 | 深圳市商汤科技有限公司 | 深度神经网络的归一化方法和装置、设备、存储介质 |
| CN108846842B (zh) * | 2018-07-04 | 2021-04-27 | 武汉斗鱼网络科技有限公司 | 一种图像噪声检测方法、装置及电子设备 |
| CN108960258A (zh) * | 2018-07-06 | 2018-12-07 | 江苏迪伦智能科技有限公司 | 一种基于自学习深度特征的模板匹配方法 |
| CN109472270B (zh) * | 2018-10-31 | 2021-09-24 | 京东方科技集团股份有限公司 | 图像风格转换方法、装置及设备 |
| CN109697727A (zh) * | 2018-11-27 | 2019-04-30 | 哈尔滨工业大学（深圳） | 基于相关滤波和度量学习的目标跟踪方法、系统及存储介质 |
| CN109918752B (zh) * | 2019-02-26 | 2022-12-16 | 华南理工大学 | 基于迁移卷积神经网络的机械故障诊断方法、设备及介质 |
| CN109948692B (zh) | 2019-03-16 | 2020-12-15 | 四川大学 | 基于多颜色空间卷积神经网络及随机森林的计算机生成图片检测方法 |
| US11477464B2 (en) * | 2020-09-16 | 2022-10-18 | Qualcomm Incorporated | End-to-end neural network based video coding |
| CN114596210A (zh) * | 2020-12-07 | 2022-06-07 | 武汉Tcl集团工业研究院有限公司 | 噪声估计方法、装置、终端设备及计算机可读存储介质 |
| CN115115514A (zh) * | 2022-06-15 | 2022-09-27 | 浙江科技学院 | 基于高频信息特征融合的图像超分辨率重建方法 |
-
2020
- 2020-04-17 CN CN202010305880.9A patent/CN111508038A/zh active Pending
-
2021
- 2021-03-10 KR KR1020210031399A patent/KR102600806B1/ko active IP Right Grant
- 2021-03-12 JP JP2021040312A patent/JP7146985B2/ja active Active
- 2021-03-16 EP EP21162731.0A patent/EP3893479B1/en active Active
- 2021-03-17 US US17/204,122 patent/US11930307B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015154425A (ja) * | 2014-02-18 | 2015-08-24 | ブラザー工業株式会社 | 画像処理装置、および、コンピュータプログラム |
| JP2016115304A (ja) * | 2014-12-18 | 2016-06-23 | シャープ株式会社 | 画像処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3893479B1 (en) | 2023-05-31 |
| JP2021099868A (ja) | 2021-07-01 |
| US20210203900A1 (en) | 2021-07-01 |
| CN111508038A (zh) | 2020-08-07 |
| KR102600806B1 (ko) | 2023-11-10 |
| JP7146985B2 (ja) | 2022-10-04 |
| US11930307B2 (en) | 2024-03-12 |
| EP3893479A1 (en) | 2021-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI557683B (zh) | Ｍｉｐｍａｐ壓縮技術 | |
| EP3952312A1 (en) | Method and apparatus for video frame interpolation, and device and storage medium | |
| CN110675465B (zh) | 用于生成图像的方法和装置 | |
| CN110310293B (zh) | 人体图像分割方法及设备 | |
| KR20210035108A (ko) | 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체 | |
| US20220292638A1 (en) | Video resolution enhancement method, storage medium, and electronic device | |
| WO2022213716A1 (zh) | 图像格式转换方法、装置、设备、存储介质及程序产品 | |
| CN113554721B (zh) | 图像数据格式转换方法和装置 | |
| CN111798385B (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
| CN110647934B (zh) | 视频超分辨率重建模型的训练方法、装置和电子设备 | |
| US10735754B2 (en) | Chromatic aberration modeling in image compression and enhancement | |
| CN113409199A (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
| CN111597476A (zh) | 图像处理方法及装置 | |
| CN117315172B (zh) | 地图页面配置方法、装置、电子设备与计算机可读介质 | |
| CN116309160B (zh) | 图像分辨率修复方法、装置、设备及存储介质 | |
| CN112215774B (zh) | 模型训练和图像去雾方法、装置、设备和计算机可读介质 | |
| CN114820277A (zh) | 基于OpenCL的图像处理方法、装置、计算设备及介质 | |
| CN116134446A (zh) | 神经网络模型的多算子运算方法以及装置 | |
| CN117197152A (zh) | 一种降低波动性的图像分割方法、装置、设备及存储介质 | |
| CN116880789A (zh) | 一种屏幕扩展方法、装置、设备及存储介质 | |
| US20200134826A1 (en) | Electronic apparatus, control method for electronic apparatus, and non-transitory computer readable medium | |
| CN114500886A (zh) | 一种按列分段的图像处理系统与方法 | |
| CN117830488A (zh) | 图像处理方法、装置、可读介质及电子设备 | |
| CN116957985A (zh) | 图像修复方法、装置、电子设备和存储介质 | |
| CN113888560A (zh) | 用于处理图像的方法、装置、设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |