KR20080027190A - 다 해상도 스테레오 및 다중 뷰 비디오 압축 방법 및 장치 - Google Patents

다 해상도 스테레오 및 다중 뷰 비디오 압축 방법 및 장치 Download PDF

Info

Publication number
KR20080027190A
KR20080027190A KR1020070096161A KR20070096161A KR20080027190A KR 20080027190 A KR20080027190 A KR 20080027190A KR 1020070096161 A KR1020070096161 A KR 1020070096161A KR 20070096161 A KR20070096161 A KR 20070096161A KR 20080027190 A KR20080027190 A KR 20080027190A
Authority
KR
South Korea
Prior art keywords
view
image
video
encoding
decoding
Prior art date
Application number
KR1020070096161A
Other languages
English (en)
Inventor
심동규
박시내
남정학
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Publication of KR20080027190A publication Critical patent/KR20080027190A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 기존의 2D 단일 시점의 디스플레이 장치와 양립가능하면서, 효율적인 스테레오 디스플레이 혹은 다시점 디스플레이 장치를 지원할 수 있는 동영상 부호화 및 복호화 장치를 개시한다. 본 발명에서는 디스플레이장치 혹은 영상 입력 장치의 해상도를 고려하여 스테레오 시점 혹은 다시점의 영상의 부호화 및 복호화를 효율적으로 할 수 있는 시스템을 제안한다.
본 발명에 따라 스테레오 카메라 혹은 다시점 카메라에서 출력되는 동영상에서 기본 시점의 영상은 기존의 동영상 부호화 장치 및 복호화 장치를 거친 후에 디스플레이 장치로 전달되어지고, 확장 시점의 영상은 디스플레이 장치의 특성과 입력 영상의 크기를 고려하여 부호화하여 디코더로 전송된 후 디스플레이 된다. 확장 시점의 영상은 디스플레이 장치의 해상도를 고려하여 부호화한 후에 복호화 및 디스플레이 할 수 있으며, 입력 장치의 해상도에 따라 입력 영상의 크기가 다른 경우에도 부호화 복호화 및 디스플레이가 가능하다. 이때 부호화기는 효율적인 압축을 위하여 기본 시점 혹은 주변의 다른 시점의 영상을 참조하여 부호화를 할 수 있으며, 복호화 장치를 거친 후에 디스플레이 장치로 전달된 영상은 시스템의 특성에 맞추어 디스플레이 된다. 디스플레이 장치가 2D의 단일 시점만을 지원하는 장치일 경우에는, 기본 시점 영상의 정보만을 이용하여 디스플레이 하고, 스테레오 디스플레이 혹은 다시점 디스플레이를 지원하는 장치일 경우에는 확장 시점 영상에 대한 정보를 같이 이용하여 디스플레이하게 된다.
MVC, 스테레오 디스플레이, 다해상도 시점 간 예측, 다시점 동영상 부호화/복호화

Description

다 해상도 스테레오 및 다중 뷰 비디오 압축 방법 및 장치 {Method of multiple resolution stereo and multi-view video compression, and apparatus thereof}
본 발명은 동영상 장치에 있어, 기존의 2D 단일 시점의 디스플레이 장치와 양립가능하면서, 효율적인 스테레오 디스플레이 혹은 다시점 디스플레이 장치를 지원할 수 있는 동영상 부호화 및 복호화 장치에 관한 것이다.
사용자의 요구가 디스플레이 관점에서 단순히 고화질의 2D 영상매체를 통한 서비스에서 벗어나 보다 현장감 잇는 3D 디스플레이로의 변화됨에 따라 이와 관련된 다양한 분야의 연구가 진행되고 있다. 이에 대한 연구의 일환으로 스테레오 뷰/멀티 뷰 영상의 코딩기술에 대한 연구가 활발하게 진행되고 있다. 스테레오 시점 디스플레이 시스템은 인간의 시각시스템의 특징을 이용한 기술로 앞서 설명한 양안 시차를 고려하여 둘 혹은 그 이상의시점에서 촬영된 영상을 통시에 디스플레이 함으로서 사용자가 입체감을 느낄 수 있도록 하는 장치이다. 다시점 영상의 디스플레 이 시스템은 사용자의 위치에 따라 디스플레이 되는 영상이 다르게 보이도록 하여 사용자에게 시점의 자유도를 허락함으로써 사용자가 좀 더 입체감 있고 실감나는 영상을 즐길 수가 있게 한다.
일반적인 동영상 부호화에서 프레임간의 시간적인 중복성을 제거하는 방법으로 부호화 효율을 증가시키는데 스테레오 시점 동영상 부호화에서는 더불어 두 시점간의 공간적인 중복성도 고려함으로써 부호화 효율을 향상시킬 수 있다. 이러한 시점간의 공간적인 중복성을 제거하기 위한 연구가 스테레오 시점 / 다시점 부호화 및 복호화를 연구하는 집단에서 꾸준히 연구되고 있으며, 이에 대한 표준화 또한 활발하게 진행되고 있다.
본 발명은 기존의 2D 단일 시점의 디스플레이 장치와 양립가능하면서, 효율적으로 스테레오 디스플레이 혹은 다시점 디스플레이 장치를 지원할 수 있도록 하기 위한 첫 번째 실시 예로, 기본 시점의 영상에 대한 정보는 그대로 부호화 및 복호화 하도록 하고, 스테레오/다시점 디스플레이를 위한 확장 시점의 영상(들)는 영상의 크기를 가로 방향으로 일정 비율 다운샘플링 한 후에 부호화와 복호화를 하여 디스플레이 장치로 전송하는 방법 및 장치에 관한 것이다. 이를 통해 기존의 2D 단일 시점 동영상 디스플레이 장치도 지원 가능하고, 스테레오 디스플레이 혹은 다시점 디스플레이 장치도 효율적으로 지원 할 수 있는 동영상 부호화 및 복호화가 가능하다. 기존의 2D 단일 시점 동영상의 디스플레이를 지원하기 위해 기본 시점 영상에 대해서는 전체를 부호화 및 복호화 하지만, 확장 시점 영상(들)에 대해서는 다운 샘플링 한 후에 부호화 및 복호화하기 때문에 코딩의 효율을 높일 수 있다. 또한, 부호화기는 시점 간 공간 중복성을 제거하기 위하여, 부호화 시에 기본 시점 혹은 확장 시점 영상을 참조하게 되는데, 이 때 참조 영상을 다운샘플링 하여 현재 시점의 영상 크기에 맞추어 부호화함으로써 시점간의 중복성 제거가 가능하다. 또한 이를 확장하여 참조되는 기본 시점의 영상을 다운 샘플링 하여 현재 시점 영상의 크기에 맞추는 것이 아니라, 이를 그대로 사용함으로써 부호화 효율을 향상시킬 수 있다. 두 번째 실시 예는 스테레오 혹은 다시점 동영상 부호화를 위한 영상 입력 장치의 해상도가 모두 다른 경우에도, 기본 시점 혹은 확장 시점의 영상들을 최 대한 활용하여 부호화 하는 방법 및 장치이다. 시점 간의 영상 크기가 다른 경우 참조 영상의 특징 및 현재 부호화할 영상의 특징을 최대한 고려하여 부호화함으로써 부호화 효율을 높일 수 있다.
기본 시점의 영상은 기존의 2D 단일 시점 동영상과 같이 부호화하고, 확장 시점의 영상은 기본시점의 영상을 참조함으로써 효율적인 동영상 부호화를 지원하는 장치. 확장 시점의 영상은 기본 시점의 영상의 해상도와 같지 않아도 무방하며, 참조 영상의 해상도가 부호화하는 영상의 해상도와 같지 않아도 시점 간 참조가 가능하도록 하여 부호화 효율을 높인 장치
전술한 바와 같이 본 발명에 따르면, 기존의 단일 시점 동영상의 디스플레이를 위한 동영상 부호화 및 복호화 장치와의 양립이 가능하면서, 효율적으로 스테레오 및 다시점 동영상의 디스플레이를 지원할 수 있는 동영상 부호화 및 복호화가 가능하게 된다.
상기 목적을 달성하기 위한 본 발명은, 스테레오 시점/다 시점 동영상 부호화에 있어서 기존의 단일 시점 부호화/복호화 장치와의 역호환성을 위한 기본 시점 부호화 및 복호화기; 확장 시점 영상(들)의 공간 해상도 샘플링을 위한 필터 및 다운샘플러; 움직임/시점 간 예측을 위한 움직임/시점 간 예측 부; 예측 영상과 원 영상간의 차분 영상을 변환 부호화, 양자화 및 엔트로피 부호화를 하기 위한 부호화부; 부호화 신호를 역 엔트로피 부호화, 역 양자화, 역 변환부호화 하기 위한 복호화부; 및 복호화 된 차분 영상과 움직임/시점 간 보상된 영상을 통하여 복원된 영상을 이후 복원 될 영상의 움직임/시점 간 예측을 위한 복원영상저장부를 포함한다.
한편, 본 발명은 스테레오 시점/다 시점 동영상 부호화에 있어서. 해상도가 일치하지 않는 시점 간의 시점 예측이 가능한 움직임/시점 간 예측 부; 움직임 예측 및 시점 간 예측이 부호화 효율에 따라서 선택 가능한 예측 모드를 가지고 이를 복호화기로 전달하는 부호화기; 부호화기로부터 전달 받은 예측 모드에 따라 움직임/시점 간 보상을 수행하고 원 영상으로 복원하기 위한 복호화기; 및 이후 복원될 영상의 움직임/시점 간 예측을 위한 복원 영상 저장 시 영상의 시점에 따라 따로 저장하기 위한 복수의 복원영상저장부를 포함한다.
본 발명은 스테레오 시점 및 다시점 동영상 부호화 기술에 관한 것으로, 기존의 단일 시점 부호화/복호화 장치와 역 호환성을 가지면서 부호화 효율을 높이기 위해, 기본 시점 이외의 시점(들)의 영상은 필터와 다운샘플러를 통해 공간 해상도를 줄이고 해상도가 다른 영상간의 예측을 가능하게 하여 부호화 효율을 높이는 방법이다.
상술한 목적, 특징 및 방법은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 생각되는 경우 및 여러 실시 예의 중복되는 장치에 대한 설명에 대해서는 상세한 설명을 생략하기로 한다. 이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예로써,
스테레오 디스플레이 장치에 관한 동영상 부호화 및 복호화 장치에 관한 것이다.
본 실시 예에 따른 동영상 부호화 및 복호화 장치는
기본 시점 영상(101);
확장 시점 영상(105);
기존의 단일 시점을 위한 동영상 부호화 기(102);
기존의 단일 시점을 위한 동영상 복호화 기(103);
확장 시점 영상 신호의 공간 해상도를 줄이기 위한 필터(106) 및 다운 샘플러(107);
확장 시점 영상의 부호화를 위한 부호화기(108);
확장 시점 영상의 복호화를 위한 복호화기(109);
기본 시점 영상에 대하여 스테레오 디스플레이 패널의 화면 해상도 맞추기 위한 필터(111) 및 다운 샘플러(112)
를 포함하여 이루어진다.
스테레오 디스플레이 장치를 위해 입력된 두 시점의 영상 중 기본 시점에 대한 영상신호(101)는 기존의 2D 단일 시점을 위한 동영상 부호화기(102) 및 복호화기(103)를 통해 부호화 및 복호화 되어 디스플레이 장치(104)로 전달이 된다. 확장 시점의 영상에 대한 신호(105)는 필터(106)를 거치고 다운샘플링(107)된 후에 마찬가지로 기존의 단일 시점 동영상을 위한 부호화기(108) 및 복호화기(109)를 통해 부호화 및 복호화 되어 디스플레이 장치(110)로 전달된다. 이 때, 전달된 영상신호는 확장 시점 영상에 대한 것이며, 기본 시점 영상에 대한 신호는 필터링(111)과 다운샘플링(112)을 하여 영상의 크기를 절반으로 줄인 후에 전송되어지고, 두 시점에 대한 정보를 같이 이용하여 스테레오 디스플레이 장치에 디스플레이 된다. 실시 예에서, 기본 시점 영상은 왼쪽 시점의 영상, 확장 시점의 영상은 오른쪽 시점의 영상이 되었으나, 실시 예에 따라 기본 시점과 확장 시점의 영상은 바뀔 수 있다.
도 2는 도 1의 실시 예를 바탕으로 확장된 시스템의 블록도를 도시한 도면이다.
실시 예에 따른 동영상 부호화 및 복호화 장치는
기본 시점 영상(201);
확장 시점 영상(202);
기존의 단일 시점을 위한 동영상 부호화 기(210);
기존의 단일 시점을 위한 동영상 복호화 기(220);
영상 신호의 공간 해상도를 줄이기 위한 필터(211) 및 다운 샘플러(212);
확장 시점 영상의 부호화를 위한 부호화기(230);
확장 시점 영상의 복호화를 위한 복호화기(240);
움직임/시점 간 예측 및 보상 시 참조하기 위한 복원 영상 저장부(231);
를 포함하여 이루어진다.
상기에서 기술하였듯이 2D 단일 시점 동영상(250)을 위한 기본 시점 영상(201)은 기존의 동영상 부호화기들을 이용하여 부호화(210) 및 복호화(220)된다. 확장 시점 영상(202)에 대해서 도 1은 공간적 샘플링을 통해 공간 해상도만을 줄임으로써 작아진 크기의 영상을 부호화 하였으나, 도 2에서는 해상도를 줄인 확장 시점의 영상을 부호화 할 때 이전에 부호화 된 왼쪽 시점의 영상을 필터링(211) 하고 같은 해상도로 샘플링(212)한 후 참조 영상(231)으로 사용하여 부호화한다. 기본 시점 영상을 참조 영상으로 사용하는 확장 시점의 동영상 부호화기(230)와 복호화기(240)는 시점 간 예측을 통해 공간 중복성을 줄임으로써 부호화 효율을 향상시킨다. 스테레오 디스플레이(260)를 위해서는 도 1에서와 마찬가지로 기본 시점 영상을 필터링 후 가로축으로 1/2 다운 샘플링 한 영상과 확장 시점영상을 이용하면 된다. 실시 예에서, 기본 시점 영상은 왼쪽 시점의 영상, 확장 시점의 영상은 오른쪽 시점의 영상이 되었으나, 실시 예에 따라 기본 시점과 확장 시점의 영상은 바뀔 수 있다.
도 3은 도 2의 실시 예를 바탕으로 확장된 시스템의 블록도를 도시한 도면이 다.
실시 예에 따른 동영상 부호화 및 복호화 장치는
기본 시점 영상(301);
확장 시점 영상(302);
기존의 단일 시점을 위한 동영상 부호화 기(310);
기존의 단일 시점을 위한 동영상 복호화 기(320);
영상 신호의 공간 해상도를 줄이기 위한 필터(211) 및 다운 샘플러(212);
확장 시점 영상의 부호화를 위한 부호화기(330);
확장 시점 영상의 복호화를 위한 복호화기(340);
시점 간 예측 및 보상 시 참조하기 위한 복원 영상 저장부(331)
움직임 예측 및 보상 시 참조하기 위한 복원 영상 저장부(332);
를 포함하여 이루어진다.
스테레오 디스플레이 장치에 입력된 두 시점의 영상 중 기본 시점 영상(101)은 기존의 단일 시점 동영상을 위한 부호화기(310) 및 복호화기(320)를 통해 부호화 및 복호화 되어 디스플레이 장치(350)로 전달된다. 확장 시점 영상(302)에 대한 신호는 필터(311)를 거치고 다운샘플링(312) 된 후에 공간적인 중복성 제거를 위하여 이전에 부호화 및 복원 된 왼쪽 시점의 영상을 참조하여 부호화(330) 한다. 이때 오른쪽 시점 영상은 다운샘플링을 거쳤지만 왼쪽 시점 영상은 다운샘플링 하지 않았기 때문에, 왼쪽 영상은 오른쪽 영상 두 배의 크기를 가지게 된다. 이 경우는 기존의 움직임 예측 방법으로 시점 간 예측이 불가능하므로, 본 발명에서는 새로운 시점 간 예측 방법을 제안한다. 이는 도 9를 통해 설명되어 진다. 실시 예에서, 기본 시점 영상은 왼쪽 시점의 영상, 확장 시점의 영상은 오른쪽 시점의 영상이 되었으나, 실시 예에 따라 기본 시점과 확장 시점의 영상은 바뀔 수 있다.
도 4는 본 발명의 또 다른 하나의 실시 예로써,
스테레오 디스플레이 장치에 관한 동영상 인코딩 및 디코딩 장치에 관한 것이다.
실시 예에 따른 동영상 부호화 및 복호화 장치는
영상 재구성부(400);
기존의 단일 시점을 위한 동영상 부호화 기(410);
기존의 단일 시점을 위한 동영상 복호화 기(420);
를 포함하여 이루어진다.
도 1에서는 스테레오 디스플레이를 위해 입력된 두 시점의 영상을 기존의 단일 시점 부호화및 복호화 기를 이용할 경우에는 두 개의 부호화 및 복호화기가 필요하다. 그러나 도 4에서와 같이 입력된 두 개의 영상을 섞어서 하나의 영상으로 재구성(400)하면, 하나의 부호화기(410)와 복호화기(420)로 부호화 및 복호화가 가능하다. 종래의 2D 단일 시점 디스플레이 장치(450)를 위해서는 복원된 영상 시퀀스 중 왼쪽 시점의 영상만을 가져와서 디스플레이 한다. 그리고 스테레오 디스플레이 장치(460)를 위해서는 복원된 두 시점의 영상 모두를 이용하여 디스플레이하게 된다. 실시 예에서, 기본 시점 영상은 왼쪽 시점의 영상, 확장 시점의 영상은 오른 쪽 시점의 영상이 되었으나, 실시 예에 따라 기본 시점과 확장 시점의 영상은 바뀔 수 있다.
도 5는 도 4의 실시 예에 대한 또 하나의 구체적인 시스템 블록도이다.
실시 예에 따른 동영상 부호화 및 복호화 장치는
기본 시점 영상(501);
확장 시점 영상(502);
영상 재구성부(503);
기존의 단일 시점을 위한 동영상 부호화 기(510);
기존의 단일 시점을 위한 동영상 복호화 기(520);
기본 시점/확장 시점 영상 판별 부(511);
영상 신호 복사 부(512);
확장 시점 영상의 복호화를 위한 복호화기(530);
기본 영상 신호/확장영상신호 분리 부(540);
분리된 기본 영상 비트스트림(541);
분리된 확장 영상 비트스트림(542)
를 포함하여 이루어진다.
상기에서 기술하였듯이 스테레오 디스플레이를 위한 기본 시점 영상(501)과 확장 시점 영상(502)을 섞어서 하나의 영상(503)으로 만들고, 하나의 부호화기(510)를 이용하여 부호화하게 된다. 이 때, 기본 시점 영상에 대해서는 종래의 방법을 그대로 사용하여 부호화한다. 기본 시점 영상은 움직임 예측을 위한 참조 영상으로 이전에 부호화 및 복원된 영상 중 기본 시점 영상만을 사용한다. 반면 확장 시점 영상은 참조 영상으로 기본 시점 영상과 확장 시점 영상 모두 사용 가능하다. 기본 시점 영상과 확장 시점 영상의 부호화 방법이 다르기 때문에, 부호화하기 전에 현재 부호화하는 영상이 기본 시점 영상인지 확장 시점 영상인지를 판단(511)하고, 확장 시점 영상일 경우에는 도 6과 같이 가로로 2화소씩 같은 값으로 채운 후에 변환 부호화를 수행하게 된다. 이는 확장 시점 영상에서 실제로 스테레오 디스플레이 되는 부분은 영상의 가로 축으로 1/2만큼 다운 샘플링 된 영상이기 때문에 변환 부호화시 압축 효율을 더 향상시키기 위해서 디스플레이 되는 한 열을 그 옆에 열에
복사(512) 하는 것이다. 2D 단일 시점 디스플레이 장치(550)와 스테레오 디스플레이 장치(560) 모두를 지원하는 부호화 된 비트스트림의 입력은 spliter장치(540)를 통하여 각각 기본 시점 비트스트림(541)과 확장 시점 비트스트림(542)으로 분리된다. 2D 단일 시점 디스플레이 장치를 위한 복호화기는 기본 시점 비트스트림만 복호화(520)함으로써 영상을 디스플레이 할 수 있다. 스테레오 디스플레이 장치는 기본 시점 및 확장시점 비트스트림 모두를 사용하여 복호화(530)하며 두 시점 영상을 각각 필터링하고 가로 축으로 1/2만큼 다운 샘플링한 후 스테레오 영상으로 디스플레이 한다. 실시 예에서, 기본 시점 영상은 왼쪽 시점의 영상, 확장 시점의 영상은 오른쪽 시점의 영상이 되었으나, 실시 예에 따라 기본 시점과 확장 시점의 영상은 바뀔 수 있다.
도 7은 본 발명의 하나의 실시 예로써, 2D 단일 시점 디스플레이(704), 스테레오 디스플레이(711), 그리고 다시점 디스플레이(712) 장치를 모두 지원 할 수 있는 동영상 부호화 및 복호화 장치에 관한 것이다.
실시 예에 따른 동영상 부호화 및 복호화 장치는
기본 시점 영상(701);
확장 시점 영상(705);
기존의 단일 시점을 위한 동영상 부호화 기(701);
기존의 단일 시점을 위한 동영상 복호화 기(703);
영상 신호의 공간 해상도를 줄이기 위한 필터(713) 및 다운 샘플러(714);
확장 시점의 시점 개수에 따라 영상 신호의 공간 해상도를 줄이기 위한 필터(706) 및 다운 샘플러(707);
확장 시점 영상의 부호화를 위한 부호화/복호화기(708);
시점 간 영상 신호 분리 부(710);
를 포함하여 이루어진다.
상기 실시 예에서와 같이 기본 시점(701)에 대한 영상 신호는 영상 전체를 기존의 단일 시점을 위한 부호화기(702) 및 복호화기(703)를 통해 디스플레이장치(704)로 전달되어지고, 나머지 시점의 영상들(705)은 필터링(706)과 다운샘플링(707) 과정을 거친 후에 다 시점을 위한 동영상 부호화 및 복호화 장치(708)로 전달되어진다. 이때 다시점 디스플레이(709)를 지원하기 위해 한 시점의 입력 영상 신호에 대한 다운샘플링 비율은 최대로 지원 가능한 시점의 개수, 즉 입력 시점의 개수에 따라 각 시점의 입력신호에 따르는 다운샘플러의 개수도 정해진다. 도 8에서 이를 도면으로 나타내었다. 최대 n개의 시점을 가지는 시스템에서 X*Y 크기로 입력된 다 시점 영상신호 각각(801)은 다운샘플링을 통해 X/n*Y 크기의 영상들(802)(803)으로 다운샘플링 된다. 한 시점에 대한 여러 개의 다운샘플러(710)는 영상신호를 시프트 시킨 후에 다운샘플링 함으로서 각각의 다운샘플러에서 다운샘플링된 결과가 중복되지 않도록 하고, 다운 샘플링된 각각의 결과의 조합으로 다시점 디스플레이를 지원 할 수 있도록 한다. 다시점 동영상을 위한 부호화기와 복호화기를 거친 신호는 Spliter(712)를 통해 개개의 신호로 분리되어 진다. 스테레오 디스플레이 장치는 기본 시점 영상에 대한 정보를 필터링(713)과 다운샘플링(714)하고, Spliter(712)를 통해 나온 신호 중 스테레오 시점 디스플레이를 위한 영상 신호만을 이용하여 스테레오 디스플레이(711)를 하게 된다. 다시점 디스플레이 장치에서 기본 시점에 대한 정보는 스테레오 디스플레이와 같이 필터링과 다운샘플링 과정을 거치게 하고 Spliter(712)를 통해 나온 신호들과 같이 다시점 디스플레이(709) 장치로 전송하여 디스플레이 하게 된다. 실시 예에서, 기본 시점 영상은 가장 왼쪽 시점의 영상, 확장 시점의 영상은 가장 왼쪽 시점의 영상을 제외한 영상들이 되었으나, 실시 예에 따라 기본 시점과 확장 시점의 영상은 바뀔 수 있다.
도 9는 본 발명의 하나의 실시 예 중, 스테레오 시점 동영상 부호화 및 복호화 방법에서 현재 부호화되고 있는 시점의 동영상을 다운샘플링 하여, 두 배가 큰 주변 시점의 영상을 참조해야 하는 시스템에서의 시점 간 예측을 나타낸다. 시점 간 예측 시 참조 영상의 연속된 픽셀을 참조하는 것이 아니라, 다운샘플링 된 방향 으로 한 픽셀 씩 건너는 형태로 참조를 하게 된다. 도 9에서 실선으로 된 블록들(903)을 참조하여 (911)과의 SAD를 구하고 그 다음 점선으로 표시된 블록(904)들을 참조하여 (911)과의 SAD를 구하면서 시점 간 예측을 수행하게 된다. 여기서 참조 영상은 보간을 통하여 보간된 영상을 사용할 수 있다. 시점 간 예측을 수식으로 나타내면 식(1)과 같다.
Figure 112007068490503-PAT00001
(1)
식 (1)에서 X와 Y는 블록 모드에 따른 예측하고자 하는 블록의 크기를 나타내고, R은 참조영상(901), C는 현재 코딩하고자 하는 영상의 블록(911)을 나타낸다. 식 (1)을 통해 계산된 가장 작은 SAD를 가지는 mv x 와 mv y 의 값이 움직임 벡터 MV x 와 MV y 값이 되고, 구해진 MV x 와 MV y 값으로 식 (2)에 의해 예측 오차를 계산할 수 있다.
Figure 112007068490503-PAT00002
(2)
디코더에서도 이와 마찬가지의 방법으로 보간된 영상으로부터 현재 영상블록을 예측하고 복원할 수 있는데, 이를 수식으로 나타내면 식 (3)과 같다.
Figure 112007068490503-PAT00003
(3)
식 (3)에서 C(x, y)는 복원된 현재 영상블록을, R은 예측 블록을, 그리고 Res(x, y)는 복호화 된 현재 영상블록의 예측오차를 나타낸다.
도 10은 도 7의 실시 예를 바탕으로 확장된 시스템의 블록도를 도시한 도면이다.
실시 예에 따른 동영상 부호화 및 복호화 장치는
기본 시점 영상(1001);
확장 시점 영상들(1002);
기존의 단일 시점을 위한 동영상 부호화 기(1010);
기존의 단일 시점을 위한 동영상 복호화 기(1020);
영상 신호의 공간 해상도를 줄이기 위한 필터(1011) 및 다운샘플러(1012);
확장 시점 영상의 부호화를 위한 부호화기(1030);
확장 시점 영상의 복호화를 위한 복호화기(1040);
시점 간 예측 및 보상 시 참조하기 위한 복원 영상 저장부(1031)
움직임 예측 및 보상 시 참조하기 위한 복원 영상 저장부(1032);
필터와 다운샘플러를 포함한 부호화 기(1071);
필터와 다운샘플러를 포함하지 않은 부호화 기(1070);
필터와 다운샘플러를 포함한 복호화 기(1072);
필터와 다운샘플러를 포함하지 않은 복호화 기(1041)
를 포함하여 이루어진다.
상기 실시 예에서와 같이 기본 시점의 영상(1001)에 해당되는 영상 신호는 영상 전체를 기존의 단일 시점 동영상 부호화를 위한 부호화기(1010) 및 복호화 기(1020)를 통해 부호화 및 복호화 되어 디스플레이장치(1050)로 전달되어지고, 확장 시점 영상들은 필터링(1011)과 다운 샘플링(1012) 과정을 거친 후에 다시점 동영상을 위한 동영상 부호화(1030) 및 복호화 장치(1032)로 전달되어진다. 이렇게 다운샘플링 된 입력 신호는 이전에 부호화 및 복원된 해당 시점 영상 뿐 아니라 주변 시점의 영상도 참조하여 공간적인 중복성을 제거하게 되는데, 다운샘플링(1012)을 통해 주변 시점 영상과 해당 시점 영상의 해상도가 다른 경우가 존재하게 된다. 주변 시점의 부호화기는 도 10에서 확장 시점을 위한 부호화기(1070)와 같이 다운샘플러와 필터를 포함하지 않을 수도 있고, (1071)과 같이 다운샘플러와 필터가 포함되어 질 수도 있다. 부호화 이전에 다운샘플러와 필터가 포함되지 않았다면, 복호화 이후 (1072)과 같이 디스플레이 이전에 디스플레이 패널의 해상도에 맞추기 위한 다운샘플링과 필터링 과정이 필요하다. 이렇게 다른 영상 크기를 가지는 여러 시점 영상을 참조하여 부호화하기 위해서는 기존의 움직임 예측 방법을 사용하여 시점 간 예측을 할 수 없으므로 새로운 방법이 필요하다. 본 발명에서는 현재 시점의 영상보다 영상의 크기가 큰 주변 시점의 영상을 참조할 수 있는 새로운 시점 간 예측 방법을 제안한다. 이는 도 11을 통해 설명되어 진다. 실시 예에서, 기본 시점 영상은 가장 왼쪽 시점의 영상, 확장 시점의 영상은 가장 왼쪽 시점의 영상을 제외한 영상들이 되었으나, 실시 예에 따라 기본 시점과 확장 시점의 영상은 바뀔 수 있다.
도 11은 본 발명의 하나의 실시 예 중, 다시점 동영상 부호화/복호화에서 현재 부호화 되고 있는 시점의 영상을 다운샘플링하여, n배가 큰 주변 시점 영상을 참조하는 시스템에서의 시점 간 예측을 나타낸다. 시점 간 예측 시 참조 영상의 연속된 픽셀을 참조하는 것이 아니라, 다운 샘플링 된 방향으로 n 픽셀 씩 건너는 형태로 참조하게 된다. 도 11에서 (1103) 블록으로 이루어진 픽셀들과 (1111)을 통해 SAD를 구하고, 그 다음 (1104) 블록들로 이루어진 픽셀들과 (1111)을 통해 SAD 구하는 방법으로 슬라이딩 형태로 픽셀을 이동해가며 시점 간 예측을 수행하게 된다. 본 예에서도 참조 영상은 보간을 통하여 보간 된 영상일 수 있다. 이러한 경우도 n배의 간격으로 시점간 차이를 예측한다. 다시점 동영상에서 시점 간 예측을 수식으로 나타내면 다음과 식 (4)와 같다.
Figure 112007068490503-PAT00004
(4)
식 (4)에서 X와 Y는 블록 모드에 따른 예측하고자 하는 블록의 크기를 나타내고, R은 참조영상, C는 현재 코딩하고자 하는 영상의 블록 그리고 N은 시점의 개수를 나타낸다. 위 식을 통해 계산된 가장 작은 SAD를 가지는 mv x 와 mv y 의 값이 움직임 벡터 MV x 와 MV y 값이 되고, 구해진 MV x 와 MV y 값으로 아래 수식에 의해 예측 오차를 계산할 수 있다.
Figure 112007068490503-PAT00005
(5)
디코더의 경우에도 보간 된 참조 영상으로부터 n배의 간격으로 현재 영상 블록을 예측하게 되는데 이를 식으로 나타내면 식 (6)과 같다.
Figure 112007068490503-PAT00006
(6)
식 (6)에서 C(x, y)는 복원된 현재 영상블록을, R은 예측 블록을, 그리고 Res(x,y)는 복호화 된 현재 영상블록의 예측오차를 나타내며 N은 시점의 개수를 나타낸다.
도 12는 도 7의 실시 예를 바탕으로 확장된 시스템의 블록도를 도시한 도면이다.
실시 예에 따른 동영상 부호화 및 복호화 장치는
기본 시점 영상(1201);
확장 시점 영상들(1202);
기존의 단일 시점을 위한 동영상 부호화 기(1210);
기존의 단일 시점을 위한 동영상 복호화 기(1220);
영상 신호의 공간 해상도를 줄이기 위한 필터(1211) 및 다운샘플러(1212);
확장 시점 영상의 부호화를 위한 부호화기(1230);
확장 시점 영상의 복호화를 위한 복호화기(1240);
시점 간 예측 및 보상 시 참조하기 위한 복원 영상 저장부(1231)
움직임 예측 및 보상 시 참조하기 위한 복원 영상 저장부(1232);
필터와 다운샘플러를 포함한 부호화 기(1271);
필터와 다운샘플러를 포함하지 않은 부호화 기(1270);
필터와 다운샘플러를 포함한 복호화 기(1272);
필터와 다운샘플러를 포함하지 않은 복호화 기(1241)
를 포함하여 이루어진다.
상기 실시 예에서 다운샘플링을 통해 영상의 크기가 다른 경우 시점 간의 참조를 통해 동영상 부호화 및 복호화가 가능한 실시 예를 보였다. 본 실시 예는 입력 영상의 크기가 각기 다른 경우 이종 해상도 간의 참조를 통하여 동영상 부호화를 하고 이를 복호화 및 디스플레이 할 수 있는 장치를 나타낸다. 장치에서 기본 시점 및 확장 시점의 영상은 각기 다른 해상도를 가질 수도 있고, 같은 해상도를 가질 수도 있고, 시스템의 특성에 따라 부호화 이전에 (1271)과 같이 필터링과 다운샘플링을 거칠 수도 있고, (1270)과 같이 거치지 않을 수도 있다. 실시 예에서 다시점 디스플레이를 위하여 복호화 이후에 필터링과 다운샘플링(1272)을 할 수 있는데, 이때 다운샘플링 비율은 K:L로 이 비율은 디스플레이 해상도와 복호화 된 영상간의 비율을 맞추어서 행해진다. 이전의 실시 예에서 다른 해상도를 가지는 시점 간의 중복성 제거의 예를 보였다. 본 실시 예 에서도 앞의 실시 예 에서와 같은 방법으로 같은 시점의 영상간의 움직임 예측 뿐 아니라, 이종 해상도 간의 시점 간 예측을 통하여 공간 중복성을 제거하는 다시점 동영상 장치를 보인다. 실시 예에서, 기본 시점 영상은 가장 왼쪽 시점의 영상, 확장 시점의 영상은 가장 왼쪽 시점의 영상을 제외한 영상들이 되었으나, 실시 예에 따라 기본 시점과 확장 시점의 영상은 바뀔 수 있다.
도 1은 본 발명의 바람직한 제 1 실시 예로써,
스테레오 디스플레이 장치에 관한 동영상 부호화 및 복호화 장치에 관한 것이다.
도 2는 도 1의 실시 예를 바탕으로 확장된 시스템의 블록도를 도시한 도면이다.
도 3은 도 2의 실시 예를 바탕으로 확장된 시스템의 블록도를 도시한 도면이다.
도 4는 본 발명의 또 다른 하나의 실시 예로써,
스테레오 디스플레이 장치에 관한 비디오 인코딩 및 디코딩 장치에 관한 것이다.
도 5는 도 4의 실시 예에 대한 또 하나의 구체적인 시스템 블록도이다.
도 6은 확장 시점 영상을 변환 부호화하기 전, 화소 값 구성 변경을 설명하기 위한 도면이다.
도 7은 본 발명의 하나의 실시 예로써, 2D 단일 시점 디스플레이, 스테레오 디스플레이, 그리고 다시점 디스플레이 장치를 모두 지원할 수 있는 동영상 부호화 및 복호화 장치에 관한 것이다.
도 8은 다시점을 지원하는 디스플레이 장치를 위한 다운샘플링 구조를 설명하기 위한 도면이다.
도 9는 본 발명의 하나의 실시 예 중, 스테레오 시점 동영상 부호화 및 복호화 방법에서 현재 부호화되고 있는 시점의 동영상을 다운샘플링 하여, 두 배가 큰 주변 시점의 영상을 참조해야 하는 시스템에서의 시점 간 예측을 도시한다.
도 10은 도 7의 실시 예를 바탕으로 확장된 시스템의 블록도를 도시한 도면이다.
도 11은 본 발명의 하나의 실시 예 중, 다시점 동영상 부호화/복호화에서 현재 부호화 되고 있는 시점의 영상을 다운샘플링하여, n배가 큰 주변 시점 영상을 참조하는 시스템에서의 시점 간 예측을 도시한다.
도 12는 도 7의 실시 예를 바탕으로 확장된 시스템의 블록도를 도시한 도면이다.

Claims (16)

  1. 본 발명은 스테레오 비디오 압축을 위하여 두 뷰중에 첫 번째 뷰는 기존의 단일 비디오 부호화 및 복호화를 수행하고, 두 번째 뷰의 압축 시 첫 번째 뷰의 비디오를 참조 영상에서 참조하여 비디오 부호화 및 복호화를 이루는 장치 및 방법
  2. 청구항 1에 있어서,
    첫 번째 뷰의 복호화된 영상을 필털링을 수행한 후, 샘플링을 수행한 영상을 두 번째 뷰의 복호화 및 부호화 장치의 참조 영상에 넣어 비디오를 부호화 및 복호화를 이루는 장치 및 방법
  3. 청구항 1에 있어서,
    첫 번째 뷰는 기존의 단일 뷰 디코더에 의하여 비디오를 복호화하여 출력하는 장치 및 방법
  4. 제 1항에 있어서,
    스테레오 비디오를 위하여 첫 번째 뷰의 복호화된 영상을 필터링하고 샘플링한 영 상과 두 번째 뷰의 복호화된 영상을 스테레오 출력장치에 출력하는 방법 및 장치
  5. 제 1항에 있어서,
    두 번째 시점 비디오의 부호화 및 복호화 시 참조 영상으로 첫 번째 시점 비디오의 복원 영상을 사용하는 방법 및 장치
  6. 제 5항에 있어서
    첫 번째 복원 영상을 필터링 혹은 다운 샘플링 없이, 보간을 통하여 고해상도 영상을 만들고, 이를 참조하여 두 번째 시점 비디오를 부호화 및 복호화 하는 방법 및 장치
  7. 스테레오 및 멀티뷰 비디오 코딩에 있어서,
    복호화된 영상을 필터링하고 샘플링한 영상을 다른 영상을 복호화 및 부호화시 참조 영상으로 사용하는 방법 및 장치
  8. 스테레오 비디오나 멀티뷰 비디오를 부호화 및 복호화를 위하여 여러 입력 영상 뷰 를 끼워넣어 기존의 단일 비디오 부호화 및 복호화를 이루고, 복원된 영상을 분류하여 각각의 뷰로 디스플레이하는 방법 및 장치
  9. 본 방법은 스테레오 비디오 압축을 위하여,
    첫 번째 뷰의 영상은 기존의 부호화 및 복호화를 따르고, 두 번째 뷰의 영상의 경우 차영상을 화소단위로 복사하여 변환부호화 하는 방법 및 장치
  10. 멀티뷰 비디오 압축의 공간 분할을 통하여 공간 스케일러빌리티를 이루기 위하여,
    입력 영상을 샘플링 한 영상을 비디오 부호화 및 복호화를 하는 방법 및 장치
  11. 제 10항에 있어서,
    모든 입력 시점 영상들 중에 일부 시점의 영상 해상도를 달리하여 비디오 부호화 및 복호화를 하는 방법 및 장치
  12. 제 11항에 있어서,
    다수의 시점 비디오의 부호화 및 복호화를 위하여 주변 시점 비디오를 참조하는 방 법 및 장치
  13. 제 12항에 있어서,
    주변 시점 비디오를 참조하여 부호화 및 복호화 시, 해상도가 일치하지 않은 경우, 그 비율에 따라 대응 화소를 찾아 시점 간 예측 및 보상을 수행하는 방법 및 장치
  14. 제 13항에 있어서,
    해상도가 다른 참조영상을 참조함에 있어서, 참조 영상을 보간하여 움직임 추정 및 보상을 수행하는 방법 및 장치
  15. 제 14항에 있어서,
    참조 영상의 보간을 위하여 n개의 탭 계수를 갖는 저역필터를 사용하는 방법 및 장치
  16. 제 14항에 있어서,
    참조 영상의 보간을 위하여 n x m 개의 탭 계수를 갖는 이차원 저역필터를 사용하 는 방법 및 장치
KR1020070096161A 2006-09-21 2007-09-20 다 해상도 스테레오 및 다중 뷰 비디오 압축 방법 및 장치 KR20080027190A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20060091528 2006-09-21
KR1020060091528 2006-09-21

Publications (1)

Publication Number Publication Date
KR20080027190A true KR20080027190A (ko) 2008-03-26

Family

ID=39414294

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070096161A KR20080027190A (ko) 2006-09-21 2007-09-20 다 해상도 스테레오 및 다중 뷰 비디오 압축 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20080027190A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010123198A3 (ko) * 2009-04-21 2010-12-16 엘지전자 주식회사 다시점 비디오 신호 처리 방법 및 장치
WO2011016701A2 (ko) * 2009-08-07 2011-02-10 한국전자통신연구원 동영상 부호화 장치 및 그 방법
WO2012144818A3 (en) * 2011-04-19 2013-03-21 Samsung Electronics Co., Ltd. Method and apparatus for video encoding using inter layer prediction with pre-filtering, and method and apparatus for video decoding using inter layer prediction with post-filtering
WO2014109609A1 (ko) * 2013-01-10 2014-07-17 삼성전자 주식회사 멀티 레이어 비디오의 복호화 방법 및 장치, 멀티 레이어 비디오의 부호화 방법 및 장치
US8989262B2 (en) 2009-08-07 2015-03-24 Electronics And Telecommunications Research Institute Motion picture encoding apparatus and method thereof
US9118955B2 (en) 2009-06-05 2015-08-25 Samsung Electronics Co., Ltd. Stereo image handling device and method

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010123198A3 (ko) * 2009-04-21 2010-12-16 엘지전자 주식회사 다시점 비디오 신호 처리 방법 및 장치
US9118955B2 (en) 2009-06-05 2015-08-25 Samsung Electronics Co., Ltd. Stereo image handling device and method
US9432697B2 (en) 2009-08-07 2016-08-30 Electronics And Telecommunications Research Institute Motion picture encoding apparatus and method thereof
US8989262B2 (en) 2009-08-07 2015-03-24 Electronics And Telecommunications Research Institute Motion picture encoding apparatus and method thereof
WO2011016701A3 (ko) * 2009-08-07 2011-06-03 한국전자통신연구원 동영상 부호화 장치 및 그 방법
US9148662B2 (en) 2009-08-07 2015-09-29 Electronics And Telecommunications Research Institute Motion picture encoding apparatus and method thereof
US9282342B2 (en) 2009-08-07 2016-03-08 Electronics And Telecommunications Research Institute Motion picture encoding apparatus and method thereof
WO2011016701A2 (ko) * 2009-08-07 2011-02-10 한국전자통신연구원 동영상 부호화 장치 및 그 방법
US9961344B2 (en) 2009-08-07 2018-05-01 Electronics And Telecommunications Research Institute Motion picture encoding apparatus and method thereof
US10469840B2 (en) 2009-08-07 2019-11-05 Electronics And Telecommunications Research Institute Motion picture encoding apparatus and method thereof
WO2012144818A3 (en) * 2011-04-19 2013-03-21 Samsung Electronics Co., Ltd. Method and apparatus for video encoding using inter layer prediction with pre-filtering, and method and apparatus for video decoding using inter layer prediction with post-filtering
WO2014109609A1 (ko) * 2013-01-10 2014-07-17 삼성전자 주식회사 멀티 레이어 비디오의 복호화 방법 및 장치, 멀티 레이어 비디오의 부호화 방법 및 장치
US9973765B2 (en) 2013-01-10 2018-05-15 Samsung Electronics Co., Ltd. Method and apparatus for coding multilayer video, method and apparatus for decoding multilayer video

Similar Documents

Publication Publication Date Title
US11044454B2 (en) Systems and methods for multi-layered frame compatible video delivery
KR101450670B1 (ko) 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치
CN107241606B (zh) 解码系统、方法和设备以及计算机可读介质
EP2538675A1 (en) Apparatus for universal coding for multi-view video
EP3661199A1 (en) Hybrid video coding supporting intermediate view synthesis
US20070041443A1 (en) Method and apparatus for encoding multiview video
EP1784022A2 (en) Method and apparatus for encoding multiview video
KR20080037593A (ko) 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩및 디코딩 장치
EP1927250A1 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
EP1917814A1 (en) Method and apparatus for encoding multiview video
KR20080027190A (ko) 다 해상도 스테레오 및 다중 뷰 비디오 압축 방법 및 장치
KR102550743B1 (ko) 비디오 부호화 및 복호화 방법, 그를 이용한 장치
JP4104895B2 (ja) 立体画像符号化装置および立体画像復号装置
JP4355914B2 (ja) 多視点画像伝送システムと方法、多視点画像圧縮装置と方法、多視点画像伸長装置と方法およびプログラム
KR100587952B1 (ko) 좌우영상의 비대칭적 크기로의 축소에 의한 보상을 수행하는 영상 부호화/복호화 장치 및 그 방법
KR20120020627A (ko) 3ｄ 영상 포맷을 이용한 영상 처리 장치 및 방법
KR20070075354A (ko) 비디오 신호의 디코딩/인코딩 방법 및 장치

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination