KR100951637B1 - 스테레오 비전 시스템 및 이의 영상 처리 방법 - Google Patents
스테레오 비전 시스템 및 이의 영상 처리 방법 Download PDFInfo
- Publication number
- KR100951637B1 KR100951637B1 KR1020070132691A KR20070132691A KR100951637B1 KR 100951637 B1 KR100951637 B1 KR 100951637B1 KR 1020070132691 A KR1020070132691 A KR 1020070132691A KR 20070132691 A KR20070132691 A KR 20070132691A KR 100951637 B1 KR100951637 B1 KR 100951637B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- stereo
- distance information
- resolution distance
- motion vector
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 230000006835 compression Effects 0.000 claims abstract description 58
- 238000007906 compression Methods 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 238000007796 conventional method Methods 0.000 abstract description 2
- 238000013139 quantization Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000001914 filtration Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/57—Motion estimation characterised by a search window with variable size or shape
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0085—Motion estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
본 발명은 스테레오 비전 시스템의 영상 처리 방법에 관한 것으로, 이를 위하여 본 발명은, 스테레오 영상 입력에 대한 전처리 과정을 수행하고, 동일한 물체로 판단되는 좌측 및 우측 영상의 픽셀간 양안차(disparity)를 생성하는 스테레오 매칭을 수행하여 스테레오 영상 정보를 획득하는 종래 방법과는 달리, 스테레오 비전 시스템에서 스테레오 영상이 입력되면, 영상 압축 모듈을 통해 저해상도 거리 정보를 획득하거나 스테레오 매칭 모듈을 이용하여 고해상도 거리 정보를 획득한 후, 저해상도 거리 정보 또는 고해상도 거리 정보에 대응하는 영상의 움직임 벡터를 이용하여 영상 노이즈를 제거함으로써, 움직임 벡터를 이용하여 영상 노이즈를 효과적으로 제거하여 스테레오 영상에 대한 정확한 거리 정보를 획득할 수 있는 것이다.
스테레오 비전 시스템, 스테레오 매칭(Stereo Matching)
Description
본 발명은 스테레오 비전 시스템에 관한 것으로, 더욱 상세하게는 영상 압축 모듈을 이용하여 획득된 움직임 벡터를 통해 영상 노이즈를 제거하는데 적합한 스테레오 비전 시스템 및 이의 영상 처리 방법에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-033-03, 과제명: URC를 이용한 내장형 컴포넌트 기술 개발 및 표준화].
잘 알려진 바와 같이, 스테레오 매칭(Stereo Matching)은 좌측 및 우측에 설치된 두 대의 카메라에서 입력되는 두 개의 영상으로부터 입체 영상 정보를 추출하는 기법을 의미한다. 이러한 스테레오 매칭은 사람의 두 눈이 특정 사물 또는 영상 패턴까지의 거리 정보를 획득하는 방법과 마찬가지로, 한쪽 영상 내의 특정 위치에 있는 패턴이 다른 쪽 영상에서는 어느 위치에 있는지 검출하여 두 위치의 차이 즉 양안차(disparity)를 추출함으로써, 카메라에서 그 패턴의 실제 위치까지의 거리값을 직접 계산하는 것이다.
다만, 이러한 스테레오 매칭 기법은 전체 영상 중 가운데 부분에 대한 거리 정보를 알 수 있는 사람의 두 눈과는 달리 전체 화면에 대한 거리 정보를 모두 계산하기 때문에 매우 많은 계산량을 필요로 하며, 두 카메라의 영상 특성이 일반적으로 완전히 동일하지 않고, 영상에 따라 어둡거나 패턴의 구별이 뚜렷하지 않은 부분이 있어 출력 양안차의 노이즈로 나타나게 된다.
한편, 스테레오 매칭을 처리하는 시스템에서는 디지털 영상이 입력되는 영상 센서를 내장한 두 대의 카메라, 두 입력 영상을 일차 처리하는 전처리부 및 스테레오 매칭부를 포함하는 시스템이 제안되어 있다.
이러한 시스템에서는 용도에 따라 두 대의 카메라 이외의 모든 처리를 개인용 컴퓨터(PC)에서 소프트웨어를 통해 수행할 수 있고, 전처리부 및 스테레오 매칭부 중 일부 또는 전부를 전용 하드웨어로 제작하여 수행할 수 있다. 여기에서, 전자의 경우 다양한 알고리즘을 용이하게 적용할 수 있으나 처리 속도가 느리고, 후자의 경우에는 제한된 특정 알고리즘만을 적용할 수 있으나 그 처리 속도는 빠른 장점이 있다.
특히, 스테레오 매칭 기법을 이용하는 스테레오 비전 시스템은 화면 내의 모든 물체에 대한 거리 정보를 획득할 수 있기 때문에 하나의 카메라 입력만을 이용하여 비전 처리하는 것에 비해 많은 분야에 응용될 수 있는데, 로봇의 시각, 자동차의 충돌 방지 장치, 게임, 군용 장비 등에서 이미 적용되어 있거나 향후 적용되어 유용한 정보를 획득할 수 있을 것으로 기대된다.
한편, 종래에 스테레오 비전 처리를 수행하는 과정에 대해 설명하면, 좌측 및 우측 카메라를 통해 좌측 및 우측 영상이 입력되면, 좌측 및 우측 영상에 대한 밝기 및 에피폴라 라인(epipolar line)을 일치시키는 스테레오 영상 입력에 대한 전처리 과정을 수행하고, 동일한 물체로 판단되는 좌측 및 우측 영상의 픽셀간 양안차(disparity)를 생성하는 스테레오 매칭을 수행하며, 이러한 양안차의 결과에서 노이즈 성분을 제거한 후에 그 스테레오 영상의 거리 정보에 대한 프로젝션(projection), 세그멘테이션(segmentation), 필터링(filtering) 등의 후처리 과정을 수행하여 스테레오 영상 정보를 획득함으로써, 이러한 스테레오 영상 정보를 통해 물체와 배경의 거리, 모양, 방향 등의 정보를 활용하게 된다.
하지만, 종래의 스테레오 비전 시스템에 구비된 스테레오 매칭 모듈의 경우 매칭 알고리즘 또는 카메라 정렬 정확도에 따라 획득된 스테레오 영상 정보에 대응하는 영상에 노이즈가 발생하고, 특히 배경이나 물체에 변화가 없는 구간이 존재할 경우 심각한 오류를 발생하는 문제점이 있었다.
이에 따라, 본 발명은 스테레오 비전 시스템에 영상 압축 모듈을 이용하여 저해상도 거리 정보를 획득하고, 이러한 저해상도 거리 정보의 움직임 벡터를 이용하여 영상 노이즈를 제거할 수 있는 스테레오 비전 시스템 및 이의 영상 처리 방법을 제공하고자 한다.
일 관점에서 본 발명은, 입력된 스테레오 영상을 이용하여 스테레오 매칭을 수행하는 스테레오 비전 시스템으로서, 상기 입력된 스테레오 영상을 전처리하는 영상 전처리 수단과, 상기 전처리된 스테레오 영상에 대해 영상 압축 모듈을 이용한 저해상도 거리 정보를 획득하고, 스테레오 매칭 모듈을 통해 고해상도 거리 정보를 획득하며, 상기 영상 압축 모듈을 통해 추출된 움직임 벡터와 상기 고해상도 거리 정보를 이용하여 영상 노이즈를 제거하는 스테레오 매칭 수단을 포함하는 스테레오 비전 시스템을 제공한다.
다른 관점에서 본 발명은, 입력된 스테레오 영상을 이용하여 스테레오 매칭을 수행하는 스테레오 비전 처리 방법으로서, 상기 입력된 스테레오 영상을 전처리하는 단계와, 상기 전처리된 스테레오 영상에 대해 영상 압축 모듈을 이용한 저해상도 거리 정보를 획득하고, 스테레오 매칭 모듈을 통해 고해상도 거리 정보를 획득하는 단계와, 상기 영상 압축 모듈을 이용하여 움직임 벡터를 추출하는 단계와, 상기 고해상도 거리 정보와 상기 추출된 움직임 벡터를 이용하여 영상 노이즈를 제거하는 단계를 포함하는 스테레오 비전 시스템의 영상 처리 방법을 제공한다.
본 발명은, 스테레오 영상 입력에 대한 전처리 과정을 수행하고, 동일한 물체로 판단되는 좌측 및 우측 영상의 픽셀간 양안차(disparity)를 생성하는 스테레오 매칭을 수행하여 스테레오 영상 정보를 획득하는 종래 방법과는 달리, 스테레오 비전 시스템에서 스테레오 영상이 입력되면, 영상 압축 모듈을 통해 저해상도 거리 정보를 획득하거나 스테레오 매칭 모듈을 이용하여 고해상도 거리 정보를 획득한 후, 이에 대응하는 영상의 움직임 벡터를 이용하여 영상 노이즈를 효과적으로 제거함으로써, 스테레오 영상에 대한 정확한 거리 정보를 획득할 수 있다.
본 발명의 기술요지는, 스테레오 비전 시스템에서 영상 압축 모듈을 이용하여 입력되는 스테레오 영상의 저해상도 거리 정보를 획득하거나 스테레오 매칭 모듈을 이용하여 입력되는 스테레오 영상의 고해상도 거리 정보를 획득한 후에, 저해상도 거리 정보 또는 고해상도 거리 정보에 대응하는 영상의 움직임 벡터를 이용하여 영상 노이즈를 제거한다는 것이며, 이러한 기술적 수단을 통해 종래 기술에서의 문제점을 해결할 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세하게 설명한다.
도 1은 본 발명에 따라 영상 압축 모듈을 이용하여 영상 노이즈를 제거하는데 적합한 스테레오 비전 시스템의 블록구성도로서, 영상 입력 수단(102), 영상 전처리 수단(104) 및 스테레오 매칭 수단(106)을 포함한다.
도 1을 참조하면, 영상 입력 수단(102)은 CMOS 모듈, CCD 모듈 등을 이용하여 피사체를 촬영하는 좌측 카메라 및 우측 카메라를 포함하는 것으로, 입력되는 촬영 이미지(또는, 동영상)는 렌즈를 통해 CCD 모듈 또는 CMOS 모듈로 제공되고, CCD 모듈 또는 CMOS 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(촬영 신호)로 변환 출력하며, 카메라가 갖는 노출, 감마, 이득조정, 화이트 밸런스, 컬러 매트릭스 등을 수행한 후에, ADC(Analog-to-Digital Converter, 이하 'ADC'라 함)를 통해 촬영 신호를 디지털 신호로 변환하여 해당 디지털 영상(즉, 좌측 및 우측 영상이 동기화된 스테레오 영상)을 영상 전처리 수단(104)으로 전달한다.
그리고, 영상 전처리 수단(104)은 교정 파라미터(rectification parameter) 값을 통해 스테레오 영상을 교정(rectification)하고, 영상의 에피폴라 라인을 일치시켜 출력하는 것으로, 영상 입력 수단(102)으로부터 전달되는 스테레오 영상(즉, 좌측 및 우측 영상)에 대한 스테레오 카메라의 교정 파라미터를 이용하여 에피폴라 라인을 수평이 되게 영상을 교정하고, 좌측 및 우측 카메라의 특성 차이 및 좌우 영상의 밝기 차이를 보정하여 스테레오 매칭 수단(106)으로 전달한다. 여기에 서, 에피폴라 라인은 스테레오 영상에서 한쪽 영상의 한 점이 다른 영상의 라인으로 대응되는데, 이러한 대응되는 라인을 의미하며, 이러한 에피폴라 라인을 일치시키기 위해 스테레오 카메라 전방에 좌우 카메라의 베이스라인 벡터와 평행하도록 스테레오 카메라 앞에 교정용 패턴을 이용하여 교정 파라미터를 추출하며, 이러한 교정 파라미터를 저장해 두고, 초기화 작업 시 이러한 교정 파라미터를 이용하여 에피폴라 라인이 수평이 되게 한다.
또한, 영상 전처리 수단(104)에서는 스테레오 매칭 수단(106)으로부터 제공되는 스테레오 카메라의 교정 요청에 따라 영상 입력 수단(102)으로부터 전달되는 교정 디지털 영상을 이용하여 스테레오 카메라(즉, 좌측 카메라 및 우측 카메라)의 교정을 수행할 수 있으며, 이러한 스테레오 카메라의 교정은, 다수 개의 특정 패턴 영상에 대해 각각의 특징점들에 대한 대응쌍을 추출한 후, DLT(Direct Linear Transformation, 이하 'DLT'라 함)를 수행하여 대응점을 매칭시키는 방식으로 수행될 수 있다.
다음에, 스테레오 매칭 수단(106)은 영상 압축 모듈, 스테레오 매칭 모듈 등을 포함하는 것으로, 영상 전처리 수단(104)을 통해 전달되는 스테레오 영상은 좌측 영상과 우측 영상이 교번적으로 영상 압축 모듈로 입력되고, 영상 압축 모듈을 통해 좌측 영상은 I 프레임으로, 우측 영상은 P 프레임으로 인코딩한 후, 이러한 과정으로 우측 영상에 대한 움직임 벡터를 통해 저해상도 거리 정보(즉, 저해상도 양안차)를 획득한다. 여기에서, 저해상도 거리 정보는 영상 압축 모듈의 움직임 추정(Motion Estimation) 기법을 통해 해당 거리 정보의 깊이 값이 정해지면 그 스테 레오 영상에 대해 사용자 인식, 추적 등에 이용될 수 있다.
또한, 스테레오 매칭 수단(106)은 저해상도의 영상 정보를 이용한 스테레오 비전을 수행하는 중에 특정 거리 이내에서 물체가 검출되면, 영상 전처리 수단(104)을 통해 전달되는 스테레오 영상(즉, I 프레임, P 프레임 및 B 프레임)이 전원이 공급된 스테레오 매칭 모듈에 입력되며, 스테레오 매칭 모듈을 통해 좌측 영상 및 우측 영상의 중심에 가상의 영상을 정의하여 중앙 양안차 영상을 생성하고, 이러한 중앙 양안차 영상에 따라 고해상도 거리 정보(즉, 고해상도 양안차)를 획득한다. 여기에서, 고해상도 거리 정보는 영상 압축 모듈의 움직임 추정 기법을 통해 해당 거리 정보의 깊이 값이 정해지면 그 스테레오 영상에 대해 사용자 인식, 추적 등에 이용될 수 있다.
한편, 도 2는 본 발명에 따라 영상 압축 모듈을 이용하여 영상 노이즈를 제거하는데 적합한 스테레오 매칭 수단의 세부 블록구성도로서, 스테레오 매칭 수단(106)은 영상 압축부(202), 스테레오 매칭부(204) 및 영상 처리부(206)를 포함한다.
도 2를 참조하면, 영상 압축부(202)는 H.264/MPEG4 AVC 등과 같은 영상 압축 모듈을 포함하는 것으로, 움직임 추정 기법을 갖는 동영상 인코더를 통해 기준 영상이 되는 I 프레임과 이전 프레임만을 참조하는 P 프레임을 사용하여 영상 전처리 수단(104)으로부터 입력되는 스테레오 영상 중 좌측 영상은 I 프레임으로 인코딩하고, 우측 영상은 P 프레임으로 인코딩한다.
여기에서, 도 3에 도시된 바와 같은 동영상 인코더를 통해 스테레오 영상을 인코딩하는 과정에 대해 설명하면, 좌측 영상의 경우, 즉 I 프레임으로 인코딩하는 경우 n 번째 동영상(Moving Picture)이 입력되면, 메모리(Memory)에 기록되어 있는 현재(Current, 'Cur'라 함), 즉 n 번째 영상(Frame, 'Frm'라 함)은 이산 코사인 변환(Discrete Cosine Transform, 'DCT'라 함)을 수행한 후 데이터 단계를 간략화하여 동일한 숫자를 극대화시키고, VLC(Variable Length Coder, 이하 'VLC'라 함)에 의해 압축 가능하도록 하는 양자화(Quantization, 'Q'라 함) 과정을 수행하며, 동일한 숫자가 반복되면 숫자의 비트(bit) 할당을 최소로 만들어 압축하는 VLC를 수행한 후 그 압축 결과를 일시 저장(Bitstream Buffer)한 후에 영상 비트스트림(Video Bitstream)을 출력한다.
이와 동시에, 양자화(Q) 과정을 수행한 영상 데이터는 역양자화(Inverse Q, 'IQ'라 함) 및 역 이산 코사인 변환(Inverse DCT, 'IDCT'라 함)을 수행한 후, 메모리(Memory)에 이전(Previous, 'Prev'라 함), 즉 n-1 번째 I 프레임 영상(Frm)으로 저장된다.
한편, 우측 영상의 경우, 즉 P 프레임으로 인코딩하는 경우 n 번째 동영상(Moving Picture)이 입력되면, 메모리(Memory)에 기록되어 있는 현재(Cur), 즉 n 번째 영상(Frm)은 움직임 추정부(Motion Estimation)로 전달되고, 이전(Prev), 즉 n-1 번째 P 프레임 영상(Frm)간의 움직임 벡터를 추출하여 움직임 예측부(Motion Prediction)로 전달하며, 움직임 예측이 수행된 영상 데이터는 n 번째 영상과 감산(
)되어 이산 코사인 변환(DCT)을 수행한 후에, 데이터 단계를 간략화하여 동일한 숫자를 극대화시키고, VLC에 의해 압축 가능하도록 하는 양자화(Q) 과정을 수행하며, 동일한 숫자가 반복되면 숫자의 비트 할당을 최소로 만들어 압축하는 VLC를 수행한 후 그 압축 결과를 일시 저장(Bitstream Buffer)한 후에 영상 비트스트림(Video Bitstream)을 출력한다.
이와 동시에, 양자화(Q) 과정을 수행한 영상 데이터는 역양자화(IQ) 및 역 이산 코사인 변환(IDCT)을 수행한 후, 움직임 예측부를 통해 움직임 예측된 영상 데이터와 합산(
)되고, 메모리에 이전(Prev), 즉 n-1 번째 P 프레임 영상(Frm)으로 저장된다.
한편, 영상 압축부(202)에서는 VLD(Variable Length Decoder, 이하 'VLD'라 함)를 통해 출력되는 우측 영상의 P 프레임을 디코딩하고, 이를 통해 우측 영상의 움직임 벡터를 추출하여 좌측 영상의 I 프레임과 매칭시킴으로써, 저해상도 거리 정보를 획득하는데, 해당 동영상 인코더의 매크로 블록 크기가 8×8인 경우 양안차의 해상도는 원영상 해상도에서 가로와 세로를 각각 8로 나눈 저해상도 거리 정보를 획득한다. 예를 들면, 원영상이 640×480의 영상일 경우 80×60의 해상도를 갖는 저해상도 거리 정보(즉, 저해상도 양안차)를 획득할 수 있다. 이 후에, 움직임 벡터를 이용한 움직임 추정 기법을 통해 가로 방향의 검색 범위 창 크기(search range window size)에 따라 양안차의 깊이 값이 정해진다.
또한, 영상 압축부(202)에서는 양안차의 깊이 값을 포함하는 저해상도 거리 정보를 영상 처리부(206)로 전달하거나 혹은 스테레오 매칭부(204)로부터 전달되는 고해상도 거리 정보에 대해 움직임 벡터를 이용한 움직임 추정 기법을 이용하여 검색 범위 창 크기(search range window size)에 따라 양안차의 깊이 값이 구한 후에, 양안차의 깊이 값을 포함하는 고해상도 거리 정보를 영상 처리부(206)로 전달한다. 이 때, 각각의 움직임 벡터 정보는 저해상도 거리 정보 또는 고행상도 거리 정보에 포함되어 영상 처리부(206)로 전달된다.
그리고, 스테레오 매칭부(204)는 스테레오 매칭 모듈 등을 포함하는 것으로, 저해상도 거리 정보를 통해 특정 거리 이내에 물체가 검출되면, 전원을 공급받아 전처리 과정을 수행한 스테레오 영상(즉, 좌측 영상 및 우측 영상)을 이용하여 좌측 영상 및 우측 영상의 중심에 가상의 영상을 정의하며, 중앙 양안차 영상을 생성하고, 이러한 중앙 양안차 영상에 따라 동일한 물체로 판단되는 좌측 및 우측 영상의 픽셀간 양안차를 생성하는 스테레오 매칭을 수행한 후, 그 스테레오 영상의 거리 정보에 대한 프로젝션, 세그멘테이션, 필터링 등의 후처리 과정을 수행하여 고해상도 거리 정보를 획득한다. 이러한 고해상도 거리 정보는 움직임 추정을 위해 영상 압축부(202)로 전달된다. 여기에서, 스테레오 매칭부(204)는 예를 들면, 다이나믹 프로그램(Dynamic Program) 방식, 블록 매칭(Block Matching) 방식 등의 스테레오 매칭 모듈을 이용하여 스테레오 영상에 대한 스테레오 매칭을 수행할 수 있다.
한편, 영상 처리부(206)는 영상 압축부(202)로부터 저해상도 거리 정보 또는 스테레오 매칭부(204)를 통해 획득된 고해상도 거리 정보를 전달받아 영상 노이즈를 제거하는 것으로, 저해상도 거리 정보 또는 고해상도 거리 정보에 포함된 움직 임 벡터를 추출한 후에, 이러한 움직임 벡터를 이용하여 영상 노이즈를 제거하며, 영상 노이즈가 제거된 저해상도 거리 정보 또는 고해상도 거리 정보와 그에 대응하는 영상을 메모리에 저장한다. 여기에서, 영상 노이즈는, 고해상도 거리 정보의 각 좌표별 거리 정보와 움직임 벡터의 해당 좌표에 대응하는 가로 성분 정보를 비교하고, 원 스테레오 영상으로부터 추출된 움직임 벡터의 가로 성분 정보가 기 설정된 값에 대응하는 구간의 좌표에 대한 고해상도 거리 정보의 좌표에서 양안차 값을 삭제하는 방식으로 제거될 수 있다.
일 예로서, 도 4a 내지 도 4d는 본 발명의 일 예에 따라 스테레오 영상에 대한 움직임 벡터를 이용하여 영상 노이즈를 제거하는 것을 예시한 도면으로, 영상 압축 모듈에 도 4a에 도시한 바와 같은 좌측 영상과 우측 영상이 교번적으로 입력되면 영상 압축 모듈을 통해 저해상도 거리 정보에 대응하는 영상이 획득되고, 도 4b에 도시한 바와 같은 영상 노이즈가 발생하면, 영상 압축 모듈을 통해 도 4c에 도시한 바와 같이 배경이 아니 구간에서 움직임 벡터가 생성되기 때문에 저해상도 거리 정보에서 움직임 벡터를 추출하여 도 4b에 도시한 바와 같은 영상에서 움직임 벡터가 없는 구간의 양안차를 제거하여 도 4d에 도시한 바와 같이 영상 노이즈가 제거되며, 매칭 오류로 인해 값이 획득되지 않은 구간에서도 복원된 영상을 획득할 수 있음을 알 수 있다.
또한, 도 5a 내지 도 5c는 본 발명의 다른 예에 따라 스테레오 영상에 대한 움직임 벡터를 이용하여 영상 노이즈를 제거하는 것을 예시한 도면으로, 특히 배경에 변화가 없는 경우를 나타내는데, 영상 압축 모듈에 도 5a에 도시한 바와 같은 좌측 영상과 우측 영상이 교번적으로 입력되면 영상 압축 모듈을 통해 저해상도 거리 정보에 대응하는 영상이 획득되고, 도 5b에 도시한 바와 같은 영상 노이즈가 발생(즉, 배경이 있는 구간에서 물체가 있는 결과가 나타남)하면, 저해상도 거리 정보에서 움직임 벡터를 추출하여 도 5b에 도시한 바와 같은 영상에서 움직임 벡터가 없는 구간의 양안차를 제거하여 도 5c에 도시한 바와 같이 영상 노이즈가 제거되며, 매칭 오류로 인해 값이 획득되지 않은 구간에서도 복원된 영상을 획득할 수 있다.
한편, 영상 처리부(206)는 영상 압축부(202)로부터 제공되는 스테레오 영상(즉, 좌측 영상 및 우측 영상)에 대한 움직임 벡터의 수직 성분을 분석하여 스테레오 카메라의 에피폴라 라인의 일치 여부를 판단하고, 일치하지 않은 경우 스테레오 카메라의 교정을 수행하도록 도시 생략된 디스플레이 장치에 스테레오 카메라 교정이 필요함을 디스플레이하며, 이에 따라 스테레오 카메라의 교정이 요청되면 교정 제어신호를 영상 입력 수단(102) 및 영상 전처리 수단(104)으로 제공할 수 있다.
다음에, 상술한 바와 같은 구성을 갖는 스테레오 비전 시스템에서 영상 압축 모듈을 이용하여 입력되는 스테레오 영상의 저해상도 거리 정보를 획득하거나 스테레오 매칭 모듈을 이용하여 입력되는 스테레오 영상의 고해상도 거리 정보를 획득한 후에, 저해상도 거리 정보 또는 고해상도 거리 정보에 대응하는 영상의 움직임 벡터를 이용하여 영상 노이즈를 제거하는 과정에 대해 설명한다.
도 6은 본 발명에 따라 움직임 벡터를 이용하여 영상 노이즈를 제거하는 과정을 도시한 플로우차트이다.
도 6을 참조하면, 영상 입력 수단(102)에 포함된 스테레오 카메라(즉, 좌측 및 우측 카메라)를 통해 스테레오 영상이 입력되면, 그에 대한 디지털 스테레오 영상을 영상 전처리 수단(104)으로 전달하고, 영상 전처리 수단(104)에서는 교정 파라미터 값을 통해 스테레오 영상을 교정하고, 영상의 에피폴라 라인을 일치시켜 출력하여 스테레오 매칭 수단(106)으로 스테레오 영상(좌측 및 우측 영상)을 입력한다(단계602).
그리고, 스테레오 매칭 수단(106)에서는 입력되는 스테레오 영상이 영상 압축 모듈에 입력되는지를 체크한다(단계604).
상기 단계(604)에서의 체크 결과, 영상 압축 모듈에 스테레오 영상이 입력될 경우 스테레오 매칭 수단(106)에서는 스테레오 영상의 좌측 영상이 입력되는지를 체크한다(단계606).
상기 단계(606)에서의 체크 결과, 스테레오 영상의 좌측 영상이 입력된 경우 경우 스테레오 매칭 수단(106)에서는 영상 압축부(202)의 영상 압축 모듈을 통해 좌측 영상의 I 프레임으로 인코딩한다(단계608). 여기에서, 좌측 영상의 I 프레임이 입력되면, 영상 압축 모듈을 통해 이산 코사인 변환(DCT)을 수행한 후 VLC에 의해 압축 가능하도록 하는 양자화(Q) 과정 및 VLC를 통해 압축하고, 그 압축 결과를 일시 저장한 후에 영상 비트스트림을 출력함과 동시에, 양자화(Q) 과정을 수행한 영상 데이터는 역양자화(IQ) 및 역 이산 코사인 변환(IDCT)을 수행한 후, 메모리에 좌측 영상의 이전 I 프레임 영상으로 저장된다.
한편, 상기 단계(606)에서의 체크 결과, 스테레오 영상의 우측 영상이 입력 된 경우 스테레오 매칭 수단(106)에서는 영상 압축부(202)의 영상 압축 모듈을 통해 좌측 영상의 P 프레임으로 인코딩한다(단계610). 여기에서, 우측 영상의 P 프레임이 입력되면, 영상 압축 모듈을 통해 움직임 추정부로 전달되고, 이전 P 프레임 영상간의 움직임 벡터를 추출하여 움직임 예측부로 전달하며, 움직임 예측이 수행된 영상 데이터는 입력된 P 프레임 영상과 감산(
)되어 이산 코사인 변환(DCT)을 수행한 후에, 양자화(Q) 과정 및 VLC를 통해 압축하고, 그 압축 결과를 일시 저장한 후에 영상 비트스트림을 출력함과 동시에, 양자화(Q) 과정을 수행한 영상 데이터는 역양자화(IQ) 및 역 이산 코사인 변환(IDCT)을 수행한 후, 움직임 예측부를 통해 움직임 예측된 영상 데이터와 합산(
)되고, 메모리에 이전 우측 영상의 P 프레임 영상으로 저장된다.
그리고, 영상 압축부(202)에서는 출력되는 우측 영상의 P 프레임을 VLD를 통해 디코딩하고, 이러한 과정을 통해 우측 영상의 움직임 벡터를 추출한다(단계612, 614). 여기에서, VLD는 출력된 우측 영상을 이용하여 움직임 벡터를 추출하고, 그 움직임 벡터의 수평 성분을 통해 해당 매크로 블록이 좌측 영상의 어떤 매크로 블록과 매칭되는지를 알 수 있으며, 매크로 블록은 일반적으로 여러 개의 픽셀(예를 들면, 4×4, 8×8, 16×16 등)로 구성된다.
이어서, 영상 압축부(202)에서는 추출된 움직임 벡터를 이용하여 동영상 인코더의 매크로 블록 크기가 예를 들어 8×8인 경우 양안차의 해상도는 원영상 해상도에서 가로와 세로를 각각 8로 나눈 저해상도 거리 정보를 획득한다(단계616). 여 기에서, 양안차는 매크로 블록당 하나의 값이 획득될 수 있어 모든 픽셀에 대한 값을 계산하여 획득하는 스테레오 매칭 모듈보다 상대적으로 저해상도의 거리 정보가 획득될 수 있다.
한편, 상기 단계(604)에서의 체크 결과, 스테레오 매칭 모듈에 스테레오 영상이 입력될 경우 스테레오 매칭부(204)에서는 스테레오 매칭 모듈을 통해 스테레오 영상(즉, 좌측 영상 및 우측 영상)을 이용하여 좌측 영상 및 우측 영상의 중심에 가상의 영상을 정의하며, 중앙 양안차 영상을 생성하고, 이러한 중앙 양안차 영상에 따라 동일한 물체로 판단되는 좌측 및 우측 영상의 픽셀간 양안차를 생성하는 스테레오 매칭을 수행한다(단계618). 여기에서, 스테레오 매칭부(204)는 예를 들면, 다이나믹 프로그램 방식, 블록 매칭 방식 등의 스테레오 매칭 모듈을 이용하여 스테레오 영상에 대한 스테레오 매칭을 수행할 수 있다.
그리고, 스테레오 매칭부(204)에서는 스테레오 영상의 고해상도 거리 정보 에 대한 프로젝션, 세그멘테이션, 필터링 등의 후처리 과정을 수행하고, 영상 압축 모듈을 통한 저해상도 거리 정보보다 상대적으로 해상도가 높은 고해상도 거리 정보를 획득하여 영상 압축부(202)로 전달한다(단계620, 622).
다음에, 영상 압축부(202)에서는 전달되는 고해상도 거리 정보의 움직임 벡터를 이용하여 특정 물체의 움직임 추정을 수행하며, 단계616에서 획득된 저해상도 거리 정보 또는 전달되는 고해상도 거리 정보를 영상 처리부(206)로 전달하고, 영상 처리부(204)에서는 저해상도 거리 정보 또는 고해상도 거리 정보에 포함된 움직임 벡터를 추출한 후에, 이러한 움직임 벡터를 이용하여 영상 노이즈를 제거하며, 영상 노이즈가 제거된 저해상도 거리 정보 또는 고해상도 거리 정보와 그에 대응하는 영상을 메모리에 저장한다. 여기에서, 영상 노이즈는, 고해상도 거리 정보의 각 좌표별 거리 정보와 움직임 벡터의 해당 좌표에 대응하는 가로 성분 정보를 비교하고, 원 스테레오 영상으로부터 추출된 움직임 벡터의 가로 성분 정보가 기 설정된 값에 대응하는 구간의 좌표에 대한 고해상도 거리 정보의 좌표에서 양안차 값을 삭제하는 방식으로 제거될 수 있다.
일 예로서, 도 4a 내지 도 4d에 도시한 바와 같이, 영상 압축 모듈에 도 4a에 도시한 바와 같은 좌측 영상과 우측 영상이 교번적으로 입력되면 영상 압축 모듈을 통해 저해상도 거리 정보에 대응하는 영상이 획득되고, 도 4b에 도시한 바와 같은 영상 노이즈가 발생하면, 영상 압축 모듈을 통해 도 4c에 도시한 바와 같이 배경이 아니 구간에서 움직임 벡터가 생성되기 때문에 저해상도 거리 정보에서 움직임 벡터를 추출하여 도 4b에 도시한 바와 같은 영상에서 움직임 벡터가 없는 구간의 양안차를 제거하여 도 4d에 도시한 바와 같이 영상 노이즈가 제거되며, 매칭 오류로 인해 값이 획득되지 않은 구간에서도 복원된 영상을 획득할 수 있음을 알 수 있다.
또한, 도 5a 내지 도 5c에 도시한 바와 같이, 배경에 변화가 없는 경우 영상 압축 모듈에 도 5a에 도시한 바와 같은 좌측 영상과 우측 영상이 교번적으로 입력되면 영상 압축 모듈을 통해 저해상도 거리 정보에 대응하는 영상이 획득되고, 도 5b에 도시한 바와 같은 영상 노이즈가 발생(즉, 배경이 있는 구간에서 물체가 있는 결과가 나타남)하면, 저해상도 거리 정보에서 움직임 벡터를 추출하여 도 5b에 도 시한 바와 같은 영상에서 움직임 벡터가 없는 구간의 양안차를 제거하여 도 5c에 도시한 바와 같이 영상 노이즈가 제거되며, 매칭 오류로 인해 값이 획득되지 않은 구간에서도 복원된 영상을 획득할 수 있다.
따라서, 스테레오 비전 시스템에서 스테레오 영상이 입력되면, 영상 압축 모듈을 통해 저해상도 거리 정보를 획득하거나 스테레오 매칭 모듈을 이용하여 고해상도 거리 정보를 획득한 후, 이에 대응하는 영상의 움직임 벡터를 이용하여 영상 노이즈를 효과적으로 제거할 수 있다.
이상의 설명에서는 본 발명의 바람직한 실시 예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.
도 1은 본 발명에 따라 영상 압축 모듈을 이용하여 영상 노이즈를 제거하는데 적합한 스테레오 비전 시스템의 블록구성도,
도 2는 본 발명에 따라 영상 압축 모듈을 이용하여 영상 노이즈를 제거하는데 적합한 스테레오 매칭 수단의 세부 블록구성도,
도 5는 본 발명에 따라 스테레오 영상을 인코딩하는 동영상 인코더의 블록구성도,
도 4a 내지 도 4d는 본 발명의 일 예에 따라 스테레오 영상에 대한 움직임 벡터를 이용하여 영상 노이즈를 제거하는 것을 예시한 도면,
도 5a 내지 도 5c는 본 발명의 다른 예에 따라 스테레오 영상에 대한 움직임 벡터를 이용하여 영상 노이즈를 제거하는 것을 예시한 도면,
도 6은 본 발명에 따라 움직임 벡터를 이용하여 영상 노이즈를 제거하는 과정을 도시한 플로우차트.
<도면의 주요부분에 대한 부호의 설명>
102 : 영상 입력 수단 104 : 영상 전처리 수단
106 : 스테레오 매칭 수단 202 : 영상 압축부
204 : 스테레오 매칭부 206 : 영상 처리부
Claims (11)
- 입력된 스테레오 영상을 이용하여 스테레오 매칭을 수행하는 스테레오 비전 시스템으로서,상기 입력된 스테레오 영상을 전처리하는 영상 전처리 수단과,상기 전처리된 스테레오 영상에 대해 영상 압축 모듈을 이용한 저해상도 거리 정보를 획득하고, 스테레오 매칭 모듈을 통해 고해상도 거리 정보를 획득하며, 상기 영상 압축 모듈을 통해 추출된 움직임 벡터와 상기 고해상도 거리 정보를 이용하여 영상 노이즈를 제거하는 스테레오 매칭 수단을 포함하는 스테레오 비전 시스템.
- 제 1 항에 있어서,상기 영상 압축 모듈을 포함하며, 이를 이용하여 상기 전처리된 스테레오 영상을 좌측 영상의 경우 I 프레임으로, 우측 영상의 경우 P 프레임으로 교번적 입력을 통해 각각 인코딩한 후에, 상기 인코딩된 우측 영상의 P 프레임을 VLD(Variable Length Decoder)를 통해 각각 디코딩하고, 이를 통해 상기 추출된 움직임 벡터를 이용하여 상기 저해상도 거리 정보를 획득하는 영상 압축부와,스테레오 매칭 모듈을 포함하며, 이를 통해 상기 좌측 영상과 상기 우측 영상의 중심에 가상의 영상을 정의하여 중앙 양안차 영상을 생성하고, 상기 중앙 양안차 영상에 따라 동일한 물체로 판단되는 상기 좌측 영상과 상기 우측 영상의 픽 셀간 양안차를 생성하여 상기 고해상도 거리 정보를 획득하는 스테레오 매칭부와,상기 움직임 벡터와 상기 고해상도 거리 정보를 이용하여 영상 노이즈를 제거하는 영상 처리부를 포함하는 것을 특징으로 하는 스테레오 비전 시스템.
- 제 2 항에 있어서,상기 영상 압축부는, 움직임 추정 기법을 통해 가로 방향의 검색 범위 창 크기(search range window size)에 따라 그 양안차의 깊이 값을 정하는 것을 특징으로 하는 스테레오 비전 시스템.
- 제 3 항에 있어서,상기 영상 처리부는, 상기 고해상도 거리 정보의 각 좌표별 거리 정보와 상기 움직임 벡터의 해당 좌표에 대응하는 가로 성분 정보를 비교하여 상기 영상 노이즈를 제거하는 것을 특징으로 하는 스테레오 비전 시스템.
- 제 4 항에 있어서,상기 영상 처리부는, 상기 스테레오 영상으로부터 추출된 상기 움직임 벡터의 가로 성분 정보가 기 설정된 값에 대응하는 구간의 좌표에 대한 상기 고해상도 거리 정보의 좌표에서 양안차 값을 삭제하는 방식으로 상기 영상 노이즈를 제거하는 것을 특징으로 하는 스테레오 비전 시스템.
- 입력된 스테레오 영상을 이용하여 스테레오 매칭을 수행하는 스테레오 비전 처리 방법으로서,상기 입력된 스테레오 영상을 전처리하는 단계와,상기 전처리된 스테레오 영상에 대해 영상 압축 모듈을 이용한 저해상도 거리 정보를 획득하고, 스테레오 매칭 모듈을 통해 고해상도 거리 정보를 획득하는 단계와,상기 영상 압축 모듈을 이용하여 움직임 벡터를 추출하는 단계와,상기 고해상도 거리 정보와 상기 추출된 움직임 벡터를 이용하여 영상 노이즈를 제거하는 단계를 포함하는 스테레오 비전 시스템의 영상 처리 방법.
- 제 6 항에 있어서,상기 움직임 벡터는, 상기 영상 압축 모듈에 상기 스테레오 영상을 교번적으로 입력시켜 움직임 추정 기법을 통해 추출되는 것을 특징으로 하는 스테레오 비전 시스템의 영상 처리 방법.
- 제 7 항에 있어서,상기 영상 노이즈의 제거는, 상기 고해상도 거리 정보의 각 좌표별 거리 정보와 상기 움직임 벡터의 해당 좌표에 대응하는 가로 성분 정보를 비교하는 방식으 로 수행되는 것을 특징으로 하는 스테레오 비전 시스템의 영상 처리 방법.
- 제 8 항에 있어서,상기 영상 노이즈의 제거는, 상기 스테레오 영상으로부터 추출된 상기 움직임 벡터의 가로 성분 정보가 기 설정된 값에 대응하는 구간의 좌표에 대한 상기 고해상도 거리 정보의 좌표에서 양안차 값을 삭제하는 방식으로 제거되는 것을 특징으로 하는 스테레오 비전 시스템의 영상 처리 방법.
- 제 6 항 내지 제 9 항 중 어느 한 항에 있어서,상기 저해상도 거리 정보는, 좌측 영상의 경우 I 프레임으로, 우측 영상의 경우 P 프레임으로 각각 인코딩하고, 상기 인코딩된 우측 영상의 P 프레임을 VLD(Variable Length Decoder)를 통해 각각 디코딩하며, 이를 통해 추출된 상기 움직임 벡터를 이용하여 획득되며, 움직임 추정을 통해 가로 방향의 검색 범위 창 크기(search range window size)에 따라 그 양안차의 깊이 값이 정해지는 것을 특징으로 하는 스테레오 비전 시스템의 영상 처리 방법.
- 제 10 항에 있어서,상기 고해상도 거리 정보는, 상기 좌측 영상과 상기 우측 영상의 중심에 가상의 영상을 정의하여 중앙 양안차 영상을 생성하고, 상기 중앙 양안차 영상에 따라 동일한 물체로 판단되는 상기 좌측 영상 및 우측 영상의 픽셀간 양안차를 생성 하는 스테레오 매칭을 통해 획득되는 것을 특징으로 하는 스테레오 비전 시스템의 영상 처리 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070132691A KR100951637B1 (ko) | 2007-12-17 | 2007-12-17 | 스테레오 비전 시스템 및 이의 영상 처리 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070132691A KR100951637B1 (ko) | 2007-12-17 | 2007-12-17 | 스테레오 비전 시스템 및 이의 영상 처리 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20090065214A KR20090065214A (ko) | 2009-06-22 |
| KR100951637B1 true KR100951637B1 (ko) | 2010-04-09 |
Family
ID=40993621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070132691A KR100951637B1 (ko) | 2007-12-17 | 2007-12-17 | 스테레오 비전 시스템 및 이의 영상 처리 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100951637B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101040121B1 (ko) | 2008-12-22 | 2011-06-09 | 한국전자통신연구원 | 거리 측정 방법 및 스테레오 매칭 시스템 |
| US8831280B2 (en) | 2010-12-14 | 2014-09-09 | Electronics And Telecommunications Research Institute | 3D motion recognition method and apparatus |
| US9842400B2 (en) | 2015-01-27 | 2017-12-12 | Samsung Electronics Co., Ltd. | Method and apparatus for determining disparity |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101752809B1 (ko) | 2010-03-25 | 2017-07-03 | 삼성디스플레이 주식회사 | 입체 영상 표시 장치 및 그 구동 방법 |
| KR101792501B1 (ko) | 2011-03-16 | 2017-11-21 | 한국전자통신연구원 | 특징기반의 스테레오 매칭 방법 및 장치 |
| KR102184766B1 (ko) * | 2013-10-17 | 2020-11-30 | 삼성전자주식회사 | 3차원 모델 복원 시스템 및 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060023714A (ko) * | 2004-09-10 | 2006-03-15 | 학교법인 포항공과대학교 | 영상 정합 시스템 및 영상 정합 방법 |
| KR20070063063A (ko) * | 2005-12-14 | 2007-06-19 | 주식회사 제이앤에이치테크놀러지 | 스테레오 비전 시스템 |
-
2007
- 2007-12-17 KR KR1020070132691A patent/KR100951637B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060023714A (ko) * | 2004-09-10 | 2006-03-15 | 학교법인 포항공과대학교 | 영상 정합 시스템 및 영상 정합 방법 |
| KR20070063063A (ko) * | 2005-12-14 | 2007-06-19 | 주식회사 제이앤에이치테크놀러지 | 스테레오 비전 시스템 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101040121B1 (ko) | 2008-12-22 | 2011-06-09 | 한국전자통신연구원 | 거리 측정 방법 및 스테레오 매칭 시스템 |
| US8831280B2 (en) | 2010-12-14 | 2014-09-09 | Electronics And Telecommunications Research Institute | 3D motion recognition method and apparatus |
| US9842400B2 (en) | 2015-01-27 | 2017-12-12 | Samsung Electronics Co., Ltd. | Method and apparatus for determining disparity |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20090065214A (ko) | 2009-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100918480B1 (ko) | 스테레오 비전 시스템 및 그 처리 방법 | |
| CN108886598B (zh) | 全景立体视频系统的压缩方法和装置 | |
| US10349060B2 (en) | Encoding video frames using generated region of interest maps | |
| US9253504B2 (en) | Methods and apparatus for adaptive reference filtering | |
| KR101215045B1 (ko) | 이미지 정합 및 비디오 코딩을 위한 공유된 블록 비교 아키텍쳐 | |
| KR100477647B1 (ko) | 영상의 움직임 보정 장치 및 방법 | |
| EP1639829B1 (en) | Optical flow estimation method | |
| US9729870B2 (en) | Video coding efficiency with camera metadata | |
| KR100951637B1 (ko) | 스테레오 비전 시스템 및 이의 영상 처리 방법 | |
| US10735724B2 (en) | Method and device for compressing image on basis of photography information | |
| JP3823767B2 (ja) | 動画像の前景背景領域分離方法、及びその方法を用いた条件付画素補填による動画像符号化方法 | |
| US7561736B2 (en) | Image processing apparatus and method of the same | |
| KR101040121B1 (ko) | 거리 측정 방법 및 스테레오 매칭 시스템 | |
| Wang et al. | Fast depth video compression for mobile RGB-D sensors | |
| WO2015056712A1 (ja) | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム | |
| Ahmad et al. | Towards a generic compression solution for densely and sparsely sampled light field data | |
| JP6905184B2 (ja) | 画像圧縮プログラム、画像圧縮装置、及び画像圧縮方法 | |
| CN109936741B (zh) | 视频编码方法和系统 | |
| JP5993694B2 (ja) | 画像符号化装置 | |
| KR101126294B1 (ko) | 다시점 영상의 부호화 장치 및 방법 | |
| KR102127212B1 (ko) | 다시점 영상 정보의 복호화 방법 및 장치 | |
| US20170019683A1 (en) | Video encoding apparatus and method and video decoding apparatus and method | |
| KR20070056229A (ko) | 영상 부호기 및 이의 관심 영역 검출방법 | |
| Bhandari et al. | Analysis the performance of three step search algorithm for motion estimation | |
| JP2018050150A (ja) | 画像符号化装置、画像符号化方法及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20071217 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20090623 Patent event code: PE09021S01D |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20091026 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20100322 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20100331 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20100401 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20130304 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20130304 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20130730 Year of fee payment: 18 |
|
| PR1001 | Payment of annual fee |
Payment date: 20130730 Start annual number: 5 End annual number: 18 |