KR20100119559A - 2ｄ 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템 - Google Patents

2ｄ 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20100119559A
KR20100119559A KR1020107019155A KR20107019155A KR20100119559A KR 20100119559 A KR20100119559 A KR 20100119559A KR 1020107019155 A KR1020107019155 A KR 1020107019155A KR 20107019155 A KR20107019155 A KR 20107019155A KR 20100119559 A KR20100119559 A KR 20100119559A
Authority
KR
South Korea
Prior art keywords
image
disparity
disparity map
pixel
cost function
Prior art date
Application number
KR1020107019155A
Other languages
English (en)
Other versions
KR101419979B1 (ko
Inventor
동-칭 장
아이자트 헤크매트 아이자트
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20100119559A publication Critical patent/KR20100119559A/ko
Application granted granted Critical
Publication of KR101419979B1 publication Critical patent/KR101419979B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

2차원 이미지 시퀀스를 3차원 이미지로 변환하기 위한 방법들 및 시스템들이 제공된다. 하나의 실시예에서, 2차원 이미지 시퀀스를 3차원 이미지로 변환하기 위한 방법은 기준 2D 이미지들의 모노스코픽 시퀀스에서 연속적인 이미지들 간의 카메라 모션 파라미터들을 결정하는 단계(201) - 여기에서 연속적인 이미지들은 현재의 기준 이미지 및 인접하는 이미지를 포함함 -, 카메라 모션 파라미터들을 이용하여 타깃 이미지에 대한 수평 디스패리티 맵을 결정하는 단계(202), 디스패리티 맵의 각 디스패리티 벡터에 대한 디스패리티 확률 값을 결정하는 단계(203, 204), 및 타깃 이미지 및 현재의 기준 이미지가 스테레오스코픽 이미지 쌍을 포함하도록, 디스패리티 확률 값들을 이용하여 현재의 기준 이미지의 픽셀 값들의 가중 평균으로서 타깃 이미지를 결정하는 단계(205)를 포함한다.

Description

2Ｄ 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR CONVERTING 2D IMAGE DATA TO STEREOSCOPIC IMAGE DATA}
본 원리들은 스테레오스코픽(stereoscopic) 또는 3차원 이미지를 생성하기 위한 방법들 및 시스템들에 관한 것으로, 특히 일반적인 카메라 모션을 가지고 있는 2차원(2D) 모노스코픽 이미지들의 단일 시퀀스(예를 들면, 2D 비디오 이미지 시퀀스)로부터 스테레오스코픽 이미지 쌍들을 생성하기 위한 방법들 및 시스템들에 관한 것이다.
일반적으로, 스테레오스코픽 이미지 변환은 2차원(2D) 이미지들 또는 비디오를 3차원(3D) 스테레오스코픽 이미지들 또는 비디오로 변환하는 것과 관련되는 프로세스이다. 하나의 종래 프로세스에서, 스테레오스코픽 이미지는 상이한 포인트들에 위치된 2개의 분리된 카메라들에 의해 캡쳐된 2개의 모노스코픽 뷰들(좌측 및 우측 눈 퍼스펙티브 뷰들)을 조합함으로써 생성될 수 있고, 여기에서 각 카메라는 주어진 장면의 2D 퍼스펙티브 이미지(좌측 및 우측 눈 뷰들)를 캡쳐하며 그럼으로서 2개의 2D 퍼스펙티브 이미지들이 조합되어 3D 또는 스테레오스코픽 이미지를 형성한다. 다른 종래의 방법들에서, 3D 또는 스테레오스코픽 이미지들은 단일 비디오 카메라에 의해 캡쳐된 원래의 2D 모노스코픽 이미지들로부터 생성되고, 그럼으로써 대응하는 2D 모노스코픽 이미지 쌍들은 원래의 2D 이미지들로부터 추출된 정보를 이용하여 추정된다. 그러한 방법들에 있어서, 원래의 2D 이미지는 좌측 퍼스펙티브 뷰로서 확립될 수 있어서 스테레오스코픽 이미지들 쌍의 제1 뷰를 제공하는데 대해, 대응하는 우측 퍼스펙티브 이미지는 원래의 2D 이미지로부터 처리되어 대응하는 우측 퍼스펙티브를 생성하여 스테레오스코픽 이미지 쌍의 제2 뷰를 제공하는 이미지이다.
하나의 종래의 특정 스킴에서, 2D 대 3D 변환 시스템들은 소스 이미지 데이터의 순차적 2D 이미지들 간에 추정되는 카메라 모션 데이터를 이용하여 2D 모노스코픽 이미지들의 단일 시퀀스(예를 들면, 2D 비디오 이미지 시퀀스)로부터 스테레오스코픽 이미지 쌍들을 생성하도록 구성될 수 있다. 그러한 기술들에 있어서, 입력 2D 이미지는 종종 카메라 모션으로 캡쳐되는 비디오 세그먼트이다. 카메라 모션이 분석된 이후에, 우측 이미지는 입력 비디오의 2D 이미지 및 추정된 카메라 모션으로부터 도출될 수 있다. 2D 대 3D 변환 시스템들은 2D 포맷팅된 이미지 및 비디오 데이터(영화들, 가정용 비디오들, 게임들, 등)를 스테레오스코픽 이미지들로 변환하여 2D 포맷팅된 소스 이미지 데이터의 3D 뷰잉을 가능하게 하는데 이용될 수 있다. 제1 이미지 시퀀스와 함께, 제2 시퀀스는, 제1 및 제2 이미지 시퀀스들이 좌측 또는 우측 눈에 송신되는 경우에 원래의 2차원 이미지들을 3차원들로 볼 수 있게 한다.
카메라 모션을 이용하여 2D 이미지들의 시퀀스로부터 스테레오스코픽 이미지 쌍들을 생성하기 위한 종래의 접근법들은, 비디오들 이미지 데이터로부터 카메라로 계산되는 깊이 맵들을 이용하여, 대응하는 스테레오스코픽 이미지 쌍을 렌더링/생성한다. 일반적으로, 이들 기술들은, 2D 이미지들의 모노스코픽(monoscopic) 시퀀스에서 2개의 연속적인 2D 이미지들 간의 카메라 모션을 추정하여 이들이 기준 스테레오 쌍(canonical stereo pair)이 되도록 한 후, 이어서 추정된 카메라 모션을 이용하여 2개 또는 그 이상의 연속적인 이미지들로부터 깊이 맵들을 추출하는 깊이 추정을 수반한다. 그리고나서, 추정된 깊이 맵들은 좌측 눈 이미지를 우측 눈 이미지로 재-렌더링하는데 이용된다. 더 구체적으로는, 2개의 연속적인 2D 이미지들를 Li, Li+1로 가정하면(여기에서 입력 2D 이미지 시퀀스는 좌측 눈 퍼스펙티브 뷰들을 제공하는 것으로 간주됨), 깊이 맵은 깊이 맵 D에 대한 코스트 함수 F(D｜Li, Li+1)를 최소화시킴으로써 2D 이미지들로부터 추정될 수 있다. 최적 깊이 맵이
Figure pct00001
라고 가정하면, 우측 이미지는 렌더링 함수 Ri=Render(Li,
Figure pct00002
)에 의해 렌더링될 수 있다.
이러한 종래의 접근법은 이론적으로는 깊이 맵이 정확하게 추정될 수 있다면 잘 작동된다. 이러한 접근법의 장점은 카메라 모션이 임의적일 수 있다는 점이다. 그러나, 실제적인 레벨에서, 깊이 추정 프로세스는 문제가 있고, 대부분의 경우들에서, 깊이 맵은 노이즈에 의해 오염된다. 결과적으로, 추정된 깊이 맵은 노이즈 성분을 포함할 것이고, 즉
Figure pct00003
이며, 여기에서 Di는 진실한 깊이 맵이며
Figure pct00004
는 에러 성분이다. 우측 눈 이미지를 렌더링하는 경우에, 에러 성분도 전파될 것이고 렌더링 함수에 의해 확대될 가능성이 크며, 결과적으로 바람직하지 못한 아티팩트들을 낳게 된다.
카메라 모션에 기초한 다른 종래의 방법들은 플래너 변환 기술(planar transform techniques)들을 이용하여 깊이 맵 계산을 회피하지만, 그러한 접근법들은 일반적이고 임의적인 카메라 모션을 가지는 비디오 데이터에 적용될 때에 상당한 제약들을 가지고 있다. 일반적으로, 플래너 변환 기술들은 예를 들면 인접하는 프레임들을 이용하여 기본적인 매트릭스를 계산함으로써 입력 비디오 시퀀스로부터 카메라 모션을 추정하는 것을 수반한다. 그리고나서, 추정된 카메라 모션 파라미터들은 입력 비디오 이미지 시퀀스의 현재 이미지를 가상의 우측 눈 이미지로 변환하는데 이용되는 플래너 변환 매트릭스를 도출하는데 이용된다. 그러나, 변환 매트릭스는 카메라 모션이 단지 수평 이동만을 포함하는 경우에만 도출될 수 있다. 카메라가 또한 수직 방향으로 이동하는 경우라면, 수직 패럴랙스(vertical parallax)가 생성될 것이고, 수직 패럴랙스는 어떠한 플래너 변환 하에서도 제거될 수 없다. 뷰어의 눈들은 일반적으로 수평 면에서 보통은 이격되어 있고 각각의 뷰들은 뷰어의 2개의 눈들 사이의 거리에 따른 스테레오 베이스로 보여지기 때문에, 대부분의 깊이 인지(즉, 예를 들면 하나의 장면을 볼 때의 3D 또는 스테레오 효과)는 수직 면보다는 일반적으로 수평 면에서 얻어진다. 그러하므로, 순차적 이미지들의 쌍 사이의 수직 모션 또는 디스패리티는 2D 대 3D 변환 시스템에 의해 깊이를 나타내는 모션으로서 부정확하게 해석될 수 있다. 그렇지만, 플래너 변환은 카메라 회전, 및 주밍(zooming)을 제거할 수 있고, 따라서 기준 스테레오스코픽 이미지 쌍을 생성할 수 있다(즉, 좌측 및 우측 이미지들이 정렬되어 동일한 초점 거리 및 평행한 초점면을 가지게 된다). 이들 조건들 하에서, 카메라 모션이 수평 트랜슬레이션(translation)으로 제한되는 경우, 2D 이미지들의 입력 비디오 스트림은 작은 분리(seperation)들을 가지는 일련의 스테레오 이미지 쌍들로 다루어질 수 있다.
여기에 기재된 다양한 실시예들은 임의의 카메라 모션을 가지는 2D 이미지들의 단안용(monocular) 시퀀스로부터 스테레오스코픽 이미지 쌍들을 생성하기 위한 방법들 및 시스템들을 포함하고, 여기에서 타깃 이미지 상의 디스패리티 맵은 카메라 모션, 및 디스패리티 맵 생성의 에러들을 고려하는 최적화 기술들을 이용하여 직접적으로 추정되므로, 타깃 이미지를 생성하는 프로세스가 디스패리티 맵의 추정 노이즈에 덜 민감하다.
본 발명의 하나의 예로 든 실시예에서, 2D 대 3D 변환을 위한 방법은 2D 이미지들의 모노스코픽 시퀀스에서 연속적인 이미지들 사이의 카메라 모션 파라미터들을 결정하는 단계 - 여기에서 연속적인 이미지들은 현재의 기준 이미지 및 인접하는 이미지를 포함함 -, 카메라 모션 파라미터들을 이용하여 타깃 이미지에 대한 수평 디스패리티 맵을 결정하는 단계, 디스패리티 맵의 각 디스패리티 벡터에 대한 디스패리티 확률 값을 결정하는 단계, 및 타깃 이미지 및 현재 기준 이미지가 스테레오스코픽 이미지 쌍을 포함하도록, 디스패리티 확률 값들을 이용하여 현재 기준 이미지에서 픽셀 값들의 가중 평균으로서 타깃 이미지를 결정하는 단계를 포함한다.
예를 들면, 본 발명의 하나의 실시예에서, 수평 디스패리티 맵은 수평 디스패리티 맵 하에서 현재 기준 이미지의 픽셀을 인접하는 이미지의 픽셀에 매칭하는 코스트를 결정하는 픽셀 매칭 코스트 함수 성분, 및 수평 디스패리티 맵의 이웃하는 픽셀 로케이션들의 디스패리티 값들의 유사성을 고려하여 스무드한 수평 디스패리티 맵을 획득하는 스무딩 코스트 함수 성분을 포함하는 코스트 함수를 구성함으로써 결정된다.
뿐만 아니라, 본 발명의 하나의 예로 든 실시예에서, 디스패리티 맵의 디스패리티 벡터들에 대한 디스패리티 확률 값들은 수평 디스패리티 맵의 확률 함수 모델을 구성함으로써 결정되고, 여기에서 각 픽셀에 대한 디스패리티 벡터들의 값은 복수의 이산 값들 중 하나일 수 있는 랜덤 값들인 것으로 간주된다. 확률 함수 모델은 코스트 함수의 코스트 함수 성분들을 확률 모델과 연관된 대응하는 에너지 함수들로 변환함으로써 구성될 수 있다.
더 추가적으로, 하나의 예로 든 실시예에서, 확률 함수 모델은 마르코프(Markov) 랜덤 필드 모델로서, 마르코프 랜덤 필드는 제1 및 제2 에너지 함수들에 의해 정의되고, 제1 에너지 함수는 매칭 코스트 함수에 대응하며, 제2 에너지 함수는 스무드니스 코스트 함수에 대응한다. 신뢰 전파 알고리즘(Belief Propagation algorithm)과 같은 확률적(probabilistic) 추론 알고리즘은 디스패리티 맵의 각 디스패리티 벡터에 대한 디스패리티 확률 값을 결정하는데 이용될 수 있다.
본 발명의 하나의 실시예에서, 디스패리티 맵을 추정하기 이전에, 현재 기준 이미지와 인접하는 이미지 간의 수직 카메라 모션의 양은 카메라 모션 파라미터들을 이용하여 결정될 수 있고, 여기에서 수직 모션의 양이 소정 임계보다 작은 경우에 플래너 변환이 현재 기준 이미지로부터 타깃 이미지를 계산하는데 이용될 수 있다.
본 발명의 다른 실시예에서, 2차원 이미지 시퀀스를 3차원 이미지로 변환하기 위한 시스템은 2D 이미지들의 제1 모노스코픽 시퀀스에서 연속적인 이미지들-여기에서, 연속적인 이미지들은 현재 기준 이미지 및 인접하는 이미지를 포함함 -을 저장하기 위한 이미지 데이터 버퍼, 및 이미지 데이터 처리 시스템을 포함한다. 하나의 실시예에서, 이미지 데이터 처리 시스템은 이미지 데이터 버퍼에 저장된 연속적인 이미지들 사이에서 카메라 모션 파라미터들을 결정하는 카메라 모션 추정 모듈, 카메라 모션 파라미터들을 이용하여 타깃 이미지에 대한 수평 디스패리티 맵을 결정하고 디스패리티 맵의 각 디스패리티 벡터에 대한 디스패리티 확률 값을 결정하는 디스패리티 맵 추정 모듈, 및 타깃 이미지 및 현재 기준 이미지가 스테레오스코픽 이미지 쌍을 포함하도록, 디스패리티 확률 값들을 이용하여 현재 기준 이미지의 픽셀 값들의 가중 평균으로서 타깃 이미지를 결정하는 이미지 렌더링 모듈을 포함한다.
본 원리들의 사상들은 첨부된 도면들과 조합한 이하의 상세한 설명을 고려함으로써 용이하게 이해될 수 있다.
도 1은 본 발명의 실시예에 따라 2D 이미지 시퀀스를 3D 스테레오스코픽 이미지들로 변환하기 위한 시스템의 하이-레벨 블록도를 도시하고 있다.
도 2는 본 발명의 실시예에 따라 2D 이미지 시퀀스를 3D 스테레오스코픽 이미지들로 변환하기 위한 방법의 흐름도를 도시하고 있다.
도 3은 본 발명의 다른 실시예에 따라 2D 이미지 시퀀스를 3D 스테레오스코픽 이미지들로 변환하기 위한 방법의 흐름도를 도시하고 있다.
도면들은 본 발명의 개념들을 예시하기 위한 것이고 반드시 본 발명을 예시하기 위한 유일하게 가능한 구성이 아니라는 것은 자명하다. 이해를 용이하게 하기 위해, 동일한 참조번호들은 가능한 경우에, 도면들에 공통인 동일한 구성요소들을 표시하는데 이용되었다.
본 원리들은 양호하게는 일반적인 카메라 모션을 가지는 2차원(2D) 모노스코픽 이미지들(예를 들면, 2D 비디오 이미지 시퀀스)의 단일 시퀀스로부터 스테레오스코픽 이미지 쌍들을 생성하기 위한 방법 및 시스템을 제공한다. 본 원리들은 2D 이미지들을, 좌측 이미지가 기준 이미지이고 우측 이미지가 타깃 이미지인 3D 스테레오스코픽 이미지들로 변환하기 위한 특정 시스템의 컨텍스트 내에서 주로 기술되지만, 본 발명의 특정 실시예들은 본 발명의 범주를 제한하는 것으로 다루어져서는 안 된다. 예를 들면, 본 발명의 다른 실시예들에서, 임의의 제1 이미지는 스테레오스코픽 이미지 쌍을 도출하는 기준 이미지(즉, 우측 또는 좌측 이미지)로서 이용될 수 있다.
본 발명의 다양한 실시예들에 따르면, 2D 대 3D 변환 기술들은 입력 스트림의 연속적인 2D 이미지들(즉, 기준 이미지들)로부터 결정되는 카메라 모션 파라미터들, 및 디스패리티 맵 생성의 에러들을 고려하는 최적화 기술들을 이용하여 우측 눈 이미지(타깃) 상의 디스패리티 맵을 추정하도록 설계되므로, 추정된 디스패리티 맵을 이용하여 원래의 2D(기준 이미지)로부터 우측 이미지(타깃)를 생성하는 프로세스는 디스패리티 맵의 추정 노이즈에 덜 민감하다.
하나의 실시예에서, 우측 이미지 상에서 정의된 디스패리티 필드가 추정된다. 디스패리티 필드는 Li의 픽셀들이 우측 이미지 Ri에 전사되는 방법을 기술한다. 예를 들면, 디스패리티 필드가 Dr로 표시되는 경우, 우측 눈 이미지는 수학식 1에 따라 좌측 눈 이미지로부터 변환될 수 있다.
Figure pct00005
디스패리티 필드 Dr은 우측 눈 이미지에서 대응하는 픽셀들을 구하기 위해 좌측 눈 이미지 Li 내의 픽셀들에게 적용되는 시프트의 양을 지정하는 벡터 데이터를 포함한다. 벡터 데이터는 2개의 스테레오스코픽 이미지들 간의 퍼스펙티브의 변화, 및 카메라들로부터 촬영되는 장면의 오브젝트들까지의 거리와 관련된다. 유의할 점은, 디스패리티 필드는 단지 수평 성분을 가지고 있고, 그럼으로써 디스패리티 필드(또는 디스패리티 맵)는 Li의 각 픽셀의 위치(x,y)에 적용되는 경우에 우측 스테레오 이미지 뷰 Ri의 그 대응하는 픽셀의 위치(x+d,y)를 제공하는 좌측 스테레오 이미지 뷰(기준)의 각각의 픽셀에 대한 각 변위 값 d를 포함한다는 점이다. 이러한 측면에서, 디스패리티 맵은 변위 값들의 매트릭스로 간주될 수 있으므로 - 여기에서 매트릭스는 각 스테레오 이미지의 픽셀들의 개수와 동일한 크기임 -, 매트릭스는 스테레오 이미지들 중 하나에서의 각 픽셀에 대한 하나의 단일 1차원 변위값을 포함한다.
도 1은 본 발명의 실시예에 따라 2D 이미지 시퀀스를 3D 스테레오스코픽 이미지들로 변환하기 위한 시스템(100)의 하이-레벨 블록도를 도시하고 있다. 일반적으로, 시스템(100)은 이하에 설명될 다양한 이미지 처리 및 최적화 방법들을 이용하여, 2D 디지털 이미지들의 입력 제1(모노스코픽) 시퀀스(120)를 처리하고 2D 이미지들의 제1 단안 시퀀스(120)로부터 2D 디지털 이미지들의 제2(모노스코픽) 시퀀스(130)를 생성하도록 구성된 이미지 데이터 프로세서(110)를 포함한다. 도 1의 예로 든 실시예에서, 2D 이미지들의 제1 시퀀스(120)는 예시적인 목적들을 위해 이미지들의 스테레오스코픽 쌍의 좌측 눈 퍼스펙티브 뷰인 것으로 간주되는 2D 기준 이미지들의 시퀀스 Li, Li+1, Li+2, ...를 포함하고, 2D 이미지들의 제2 시퀀스(130)는 예시적인 목적들을 위해 이미지들의 스테레오스코픽 쌍의 대응하는 우측 눈 퍼스펙티브 뷰들인 것으로 간주되는 2D 합성된(타깃) 이미지들의 시퀀스 Ri, Ri+1, Ri+2, ...를 포함한다. 하나의 실시예에서, 입력(120)은 카메라 모션으로 캡쳐되는 비디오 세그먼트일 수 있다.
2D 이미지들의 제1 시퀀스(120) 및 2D 이미지들의 제2 시퀀스(130)는 이미지 조합기 모듈(140)을 통해 함께 조합되어, 스테레오스코픽 이미지들의 시퀀스(150)를 생성한다. 스테레오스코픽 이미지들의 시퀀스(150)는 스테레오스코픽 이미지 쌍 스트림, 즉 대응하는 스테레오스코픽 쌍들이 인터레이싱되어 하나의 3D 이미지를 형성하는 3D 이미지들의 하나의 단일 스트림을 제공하는 분리되어 있지만 동기화되어 있는 좌측 및 우측 이미지 스트림들을 포함할 수 있다.
도 1의 실시예에서, 이미지 데이터 프로세서(110)는 예시적으로 입력 이미지 버퍼들(111), 카메라 모션 추정 모듈(112), 코스트 함수 및 확률 함수 생성 모듈(113), 플래너 변환 생성 모듈(114), 디스패리티 필드 추정 모듈(115) 및 이미지 발생기(116)를 포함한다. 이미지 데이터 프로세서(110)의 구성하는 시스템 컴포넌트들/모듈들은 2차원 이미지 시퀀스(120)에서 인접하는 연속적인 이미지들 간의 카메라 모션 벡터들을 측정하고 모션 벡터들 및 디스패리티 맵 추정 에러를 최소화하는 확률적 모델링을 이용하여 우측 눈 이미지들 상의 수평 디스패리티 맵을 추정하고 최적화함으로써 2D 우측-눈 이미지 시퀀스(130)를 생성하는 다양한 예로 든 동작 모드들(도 2 및 3의 흐름도를 참조하여 설명됨)을 구현한다.
도 1의 실시예에서, 이미지 버퍼들(111)은 2D 이미지들의 입력 시퀀스에서 복수의 인접하는 이미지 프레임들을 수신하고 저장한다. 카메라 모션 추정 모듈(112)은 2D 이미지들의 제1 모노스코픽 시퀀스(120)에서 연속적인 이미지들 사이의 카메라 모션 파라미터들, 예를 들면 현재의 기준 이미지 Li 및 인접하는 이미지 Li+1 간의 카메라 모션 파라미터들을 결정한다. 본 발명의 다양한 실시예들에서, 카메라 모션 추정 모듈(112)은, 현재의 기준 이미지 및 인접하는 이미지가 표준 스테레오 이미지 쌍이도록, 현재의 기준 이미지 Li 및 인접하는 이미지 Li+1을 편위 수정하고(rectify) 캘리브레이션하는 이미지 편위 수정(rectification) 및 캘리브레이션 모듈로서 더 동작한다.
함수 생성 모듈(113)은 최적화된 디스패리티 맵을 계산하는데 이용되는 코스트들 함수들(예를 들면, 아래에 설명되는 수학식 2 또는 수학식 4)을 생성한다. 아래에 설명되는 바와 같이, 코스트 함수들은 이웃하는 픽셀 디스패리티들의 디스패리티 값들의 유사성을 고려하는 스무딩 성분뿐만 아니라, 수평 디스패리티 맵(즉, 타깃 이미지에 대함)을 인접하는 기준 이미지들 Li 및 Li+1간의 디스패리티로 변환하는데 이용되는 수평 및 수직 모션 변환 함수들 중 하나의 함수로서, 디스패리티 매핑 하에서 현재의 기준 이미지 Li 및 인접하는 이미지 Li+1에서 대응하는 픽셀들을 매칭하는 코스트를 고려하는 픽셀 매칭 코스트 함수를 결정하는 제1 코스트 성분으로 구성된다.
함수 모듈(113)은 타깃 이미지 디스패리티 맵의 확률적 모델을 정의하는 확률 함수를 생성하고, 여기에서 픽셀들에 대한 디스패리티 값들은 픽셀에 대한 가능한 디스패리티를 표현하는 n개의 이산 상태들 중 하나일 수 있는 랜덤 값들이다. 함수 생성 모듈(115)은 코스트 함수를 확률 함수로 변환함으로써 확률 함수를 생성할 수 있다.
디스패리티 필드 추정 모듈(115)은 함수 생성 모듈(113)에 의해 생성된 코스트 함수들, 확률 함수들 및 파라미터들을 이용하여 타깃 이미지들에 대한 디스패리티 필드들(또는 디스패리티 맵)을 추정하고 최적화시킨다. 이하에 설명된 바와 같이, 하나의 예로 든 실시예에서, 디스패리티 맵 추정 모듈(115)은 코스트 함수 또는 코스트 함수들로부터 도출된 확률 모델의 에너지 함수들을 최소화하여 디스패리티 맵의 디스패리티 값들의 확률을 결정하고 디스패리티의 확률 값들을 가중 값들로 이용하여 기준 이미지의 픽셀 값들의 가중 평균으로서 타깃 이미지들의 픽셀 값들을 계산함으로써 초기 디스패리티 맵을 결정한다. 이미지 렌더링 모듈(116)은 추정된 디스패리티 맵들을 이용하여 2D 이미지들의 제2 시퀀스(예를 들면, 타깃 이미지)를 생성하고 출력하며, 여기에서 대응하는 타깃 이미지들(130) 및 기준 이미지들(120)은 스테레오스코픽 이미지 쌍들을 포함한다. 플래너 변환 모듈(114)은 카메라 모션이 전혀 없거나 매우 작은 수직 카메라 모션을 가지는 상황들 하에서 기준 이미지들로부터 타깃 이미지들을 계산하는데 이용되는 플래너 변환 매트릭스를 계산하는데 이용될 수 있다.
도 1의 시스템은 하드웨어, 소프트웨어, 펌웨어, 특별 목적 프로세서들, 또는 그 조합의 다양한 형태들로 구현될 수 있다. 여기에 기재된 구성하는 시스템 컴포넌트들 및 처리 단계들은 하나 이상의 프로그램 저장 디바이스들(예를 들면, 자기 플로피 디스크, RAM, CD ROM, ROM, 플래시 메모리, 등) 상에서 실체적으로 실시되고 적합한 아키텍쳐를 포함하는 임의의 디바이스, 머신 또는 플랫폼에 의해 실행가능한 프로그램 명령들을 포함하는 어플리케이션으로서 소프트웨어로 구현될 수 있다. 또한, 여기에 도시된 시스템 컴포넌트들 및 방법 단계들의 일부는 양호하게는 소프트웨어로 구현되기 때문에, 시스템 컴포넌트들(또는 프로세스 단계들) 간의 실제 접속들은 본 원리들의 예로 든 실시예들이 프로그래밍되는 방식에 따라 상이할 수 있다는 것은 자명하다.
도 2는 본 발명의 하나의 실시예에 따라 2D 이미지 시퀀스를 3D 스테레오스코픽 이미지들로 변환하기 위한 방법의 흐름도를 도시하고 있다. 도 2의 방법은 도 1의 시스템의 단지 하나의 예로 든 동작 모드만을 나타낸다는 것은 자명하다. 이 방법은 2차원 이미지 시퀀스의 현재의 프레임 Li 및 이전 프레임 Li+1을 포함하는 복수의 인접하는 프레임들이 예를 들면 일시적으로 버퍼링되는 단계 200으로 시작된다. 그리고나서, 이 방법은 단계 201로 진행한다.
단계 201에서, 인접하는 프레임들 사이의 카메라 모션의 양 및 방향이 추정된다. 상기 언급된 바와 같이, 카메라 모션 파라미터들은 현재 2D 이미지 Li에 적용되는 수평 디스패리티 맵을 추정하는 프로세스에 이용되어 대응하는 우측 눈 이미지 Ri를 추정함으로써, 스테레오스코픽 쌍을 형성한다. 이러한 프로세스에서, 입력 모노스코픽 시퀀스의 2개의 연속적인 2D 소스 이미지들 사이에서 카메라 모션을 추정하는 것은 우측 이미지 Ri의 계산을 허용하고, 여기에서 이미지 Ri는 현재의 좌측 이미지 Li에 연속적인 이미지와 유사하고 디스패리티 벡터 D는 추정된 카메라 모션 벡터와 유사하다.
예를 들면, 인접하는 이미지들 Li 및 Li+1간의 카메라 모션은 예를 들면 인접하는 프레임들을 이용하여 기본적인 매트릭스를 계산함으로써 추정될 수 있다. 본 기술분야에 주지된 바와 같이, 기본적인 매트릭스는 하나의 이미지의 포인트들을 다른 이미지의 대응하는 포인트들에 관련시키고, 여기에서 2개의 연속적인 입력 이미지들 간의 디스패리티 매핑은 그러한 프레임들 간의 카메라 모션을 기본적인 매트릭스로 모델링함으로써 결정될 수 있다. 그리고나서, 이 방법은 단계 202로 진행한다.
단계 202에서, 코스트 함수는 카메라 모션에 기초하여 타깃(예를 들면, 우측) 이미지에 대한 최적화된 디스패리티 맵을 추정하도록 구성된다. 수평 디스패리티 맵은 수학식 2에 따른 코스트 함수를 최소화시킴으로써 생성될 수 있다.
Figure pct00006
수학식 2에서, d(.,.)는 픽셀 거리, 예를 들면 유클리드 거리를 나타낸다. Hx, Hy는 픽셀 차이가 계산될 수 있도록 우측 눈 수평 디스패리티 맵을 Li 및 Li+1간의 디스패리티로 변환하는데 이용되는 수평(x) 및 수직(y) 방향들의 결정된 카메라 모션을 각각 나타내는 변환 함수들이다. 수학식 2의 코스트 함수 공식에서, 이미지 편위 수정 및 캘리브레이션은 모션 변환 함수들을 이용하여 고려된다. 더구나, 수학식 2에서, S(Dr(x,y))는 이하의 수학식 3에 따라 특징지워질 수 있는, 디스패리티 필드 상에 정의된 스무드니스(smoothness) 제한을 나타낸다.
Figure pct00007
상대적으로 간단한 예를 들면, 카메라 모션이 수직 트랜슬레이션인 경우, Li 및 Li+1 사이에 단지 수직 패럴랙스만이 존재한다. Li 및 Li+1이 편위 수정되는 경우, Dr(x,y)의 디스패리티는 DLi(x,y)=λDr(x,y)에 의해 Li 상의 디스패리티 필드로 변환될 수 있다. 도 2에서의 코스트 함수는 최적화 접근법들, 예를 들면 다이나믹 프로그래밍 및 신뢰 전파에 의해 최소화될 수 있다.
다른 실시예에서, 디스패리티 필드 추정은 카메라 모션 추정 프로세스의 일부로서의 이미지 편위 수정 및 캘리브레이션, 및 구축(construction) 및 더 단순화된 코스트 함수를 수행함으로써 수행될 수 있다. 즉, 카메라 모션 추정 프로세스의 일부로서, 2개의 연속적인 이미지들 Li-1 및 Li가 편위 수정된 쌍 L'i-1 및 L'i로 변환되는 것으로 가정되는 경우, 디스패리티 맵 Dr은 수학식 4에 따른 코스트 함수를 최소화시킴으로써 추정될 수 있다.
Figure pct00008
여기에서, d(.,.)는 픽셀 차이이고 S(Dr(x,y))는 수학식 2에 정의된 스무드니스 제한이다. 수학식 2의 코스트 함수와 비교할 때, 인접하는 기준 이미지들의 편위 수정 및 캘리브레이션은 카메라 모션 추정 프로세스의 일부로서 이전에 수행되므로, 수학식 4의 코스트 함수는 수평 디스패리티 맵을 추정하기 위한 이미지 편위 수정 및 캘리브레이션 성분을 포함하지 않는다.
일반적으로, 수학식 2 및 4의 코스트 함수들은 수평 디스패리티 맵 하에서 현재 기준 이미지의 픽셀을 인접하는 이미지의 픽셀로 매칭하는 코스트를 결정하는 픽셀 매칭 코스트 함수 성분, 및 스무드한 수평 디스패리티 맵을 획득하도록 수평 디스패리티 맵에서 이웃하는 픽셀 로케이션들의 디스패리티 값들의 유사성을 고려하는 스무딩 코스트 함수 성분을 포함한다. 최적화된 수평 디스패리티 맵은 코스트 함수들을 최소화함으로써 추정될 수 있지만, 수학식 2 또는 4를 이용하는 수평 디스패리티 맵의 추정 단독으로는 결과적으로 디스패리티 추정 에러가 있는 경우에 우측-눈 이미지로 전파되는 에러로 나타날 수 있고, 결과적으로 잠재적인 아티팩트들로 나타난다.
따라서, 디스패리티 추정의 불확실성은 디스패리티 추정의 확률(또는 확신도)을 이용하여 고려된다. 디스패리티 값의 확률이 W(x,y,d)라고 가정하는 경우, 우측 이미지의 픽셀 값들은 수학식 5에 따라 좌측 눈 이미지의 픽셀 값들의 가중 평균으로서 설정될 수 있다.
Figure pct00009
그리고나서, 도 2의 방법은 단계 203으로 진행한다.
단계 203에서, 가중들 W(x,y,d)(즉, 디스패리티 벡터들의 확률 값들)는 수학식 4의 코스트 함수 공식을 확률적 공식으로 변환한 후 확률적 추론 알고리즘을 적용함으로써 결정될 수 있다. 이러한 프레임워크에서, 각 픽셀의 진짜 디스패리티 값들은 각 픽셀 로케이션에 대한 랜덤 변수들이다. 각 변수는 그 픽셀 로케이션에서 가능한 디스패리티들을 나타내는 n개의 이산 상태들 중 하나를 취할 수 있다. 각각의 가능한 디스패리티 값에 대해, 하나의 픽셀을, 그 디스패리티 값에서 대응하는 스테레오 이미지의 대응하는 픽셀로 매칭하는 것과 연관된 코스트가 있고, 여기에서 코스트는 양호하게는 2개의 픽셀들 사이의 세기 차이들에 기초한다.
다시, 도 2를 참조하면, 수학식 4의 코스트 함수는 수학식 6에 따라 등가적인 확률적 공식으로 변환될 수 있다.
Figure pct00010
여기에서, d는 디스패리티 값이고 i 및 j는 이미지에서 하나의 포인트를 식별하는 단일 인덱스들이다. 예를 들면, 이미지가 320x240의 크기를 가지고 있는 경우, i=0은 (0,0)에서의 픽셀을 나타내고, i=321은 (1,1)에서의 픽셀을 나타내며, 동일하게 이어진다. 그럼으로써, di는 수학식 3의 Dr(x,y)에 대응한다. 수학식 4 및 6을 비교하면, 결과는 이하와 같다.
(i) 전체 코스트 함수
Figure pct00011
(ii) 픽셀 매칭 코스트 함수
Figure pct00012
(iii) 스무드니스 코스트 함수
Figure pct00013
, 여기에서,
Figure pct00014
Figure pct00015
여기에서, ±는 부호가 픽셀들의 이웃에 종속되기 때문에 이용된다. 용어 log Z는 디스패리티 맵에 관한 상수로서, 수학식 6 및 4의 등식에 영향을 미치지 않는다. 이러한 변환에 의해, 수학식 4의 코스트 함수를 최소로 하는 것은 수학식 6의 확률 함수를 최대로 하는 것과 등가이고, 여기에서 수학식 5는 또한 φi 및 ψij가 마르코프 랜덤 필드의 포텐셜 함수들인 마르코프 랜덤 필드로서 알려져 있다.
다시 도 2의 방법을 참조하면, 단계 204에서, 코스트 함수를 확률적 모델(예를 들면, 마르코프 랜덤 필드)로 변환한 후, 주어진 픽셀에 대한 디스패리티의 확률 값들 b(di=w)는 확률적 추론 알고리즘들을 이용하여 얻어질 수 있다. 예를 들면, 본 발명에 따라 디스패리티를 계산하는데 이용될 수 있는 하나의 추론 알고리즘은 신뢰 전파 알고리즘으로서, 여기에서 b(di=w)는 w의 값을 가지는 포인트 i(좌표 x,y를 가짐)에서의 디스패리티 값의 확률인 진짜 확률 p(di=w)를 근사화시키고, 여기에서 w는 1 내지 M(M은 최대 디스패리티 값임)의 정수이다. 그리고나서, 이 방법은 단계 205로 진행한다.
단계 205에서, 현재의 소스 이미지 Li에 대한 연관된 2D 스테레오 이미지 Ri는 추정된 디스패리티 확률 값들을 이용하여, 현재의 이미지 Li의 픽셀들의 가중 평균으로서 계산될 수 있다. 특히, 수학식 5를 참조하면, 가중 W(x,y,d)의 값은 주어진 픽셀에 대한 디스패리티 값에 대해 근사화된 확률 값 b(di=w)와 동일하게 설정될 수 있고, 여기에서 인덱스 i는 좌표(x,y)를 가지는 픽셀에 대응한다. 그리고나서, 이 방법은 종료될 수 있다.
도 2의 방법은 일반적인 카메라 모션(수평 및 수직 카메라 모션)에 적용가능하다. 수평 디스패리티 맵이 구성되어 타깃 이미지들(예를 들면, 우측 눈 뷰들)을 렌더링하는데 이용되므로, 카메라 모션이 수직 성분을 가질 수 있더라도 자연스러운 스테레오-이미지가 생성된다. 그러나, 카메라 모션이 아주 적은 또는 전혀 없는 수직 성분을 가지는 수평 성분을 가지는 경우, 우측 눈 수평 디스패리티 맵을 계산하고 타깃 이미지들을 렌더링하는데 플래너 모션 변환이 이용될 수 있다.
예를 들면, 도 3은 본 발명의 다른 실시예에 따라 2D 이미지 시퀀스를 3D 스테레오스코픽 이미지들로 변환하기 위한 방법의 흐름도를 도시하고 있다. 도 3의 방법은 도 1의 시스템에 의해 실행될 수 있는, 2D 이미지 시퀀스를 3D 스테레오스코픽 이미지들로 변환하기 위한 방법의 다른 실시예를 표현하고 있다. 도 3의 방법에서, 처음 단계들(300, 301)은 도 2의 단계들(200, 201)과 유사하다. 더 구체적으로는, 단계 300에서, 2차원 이미지 시퀀스의 현재 프레임 Li 및 이전 프레임 Li+1을 포함하는 복수의 인접하는 프레임들이 예를 들면 일시적으로 버퍼링된다. 그리고나서, 이 방법은 단계 301로 진행한다.
단계 301에서, 인접하는 프레임들간의 카메라 모션의 양 및 방향은 도 2의 방법의 단계 201을 참조하여 상기 설명된 바와 같이 추정된다. 그리고나서, 이 방법은 단계 302로 진행한다.
단계 302에서, 수직 패럴랙스 검출 프로세스가 수행되어, 존재할 수도 있는 수직 패럴랙스의 양 - 존재하는 경우에 -을 결정한다. 하나의 실시예에서, 수직 패럴랙스 검출은 입력 시퀀스에서 2개의 이미지들(Li 및 Li+1)을 편위 수정하려고 시도함으로써 실현될 수 있다. 편위 수정 변환이 계산된 후, 편위 수정이 Li 이미지를 회전하는 것과 관련되는 경우, 수직 패럴랙스가 존재해야 한다. 그러므로, 여기에서 회전 각도는 수직 패럴랙스를 식별하기 위한 척도로서 이용될 수 있다. 그리고나서, 이 방법은 단계 303으로 진행한다.
단계 303에서, 수직 패럴랙스의 양이 미리 정의된 임계보다 작은 지가 결정된다. 즉, 본 발명의 하나의 실시예에서, 검출기는 검출된 수직 패럴랙스의 양을 나타내는 값을 출력한다. 수직 패럴랙스의 양이 미리 정의된 임계보다 작은 경우(단계 303에서 긍정 결정), 이 방법은 단계 304로 진행한다.
단계 304에서, 플래너 변환 프로세스가 수행되어 타깃 이미지 Ri를 추정한다. 특히, 플래너 변환은 예를 들면 플래너 변환들을 구성하기 위한 주지된 방법들을 이용하여 카메라 모션 파라미터들을 이용하여 구성된다. 그리고나서, 이 방법은 단계 305로 진행된다.
단계 305에서, 플래너 변환이 현재의 기준 이미지 Li에 적용되어 연관된 타깃 이미지 Ri를 계산한다. 그리고나서, 이 방법은 종료될 수 있다.
단계들 304 및 305에 있어서, 카메라 모션 파라미터들은 기준 이미지 Li를 타깃 이미지 Ri로 변환하는데 이용될 수 있는 플래너 변환 매트릭스를 도출하는데 이용될 수 있다. 그러나, 변환 매트릭스는 카메라 모션이 단지 수평 모션만을 가지는 경우에만 도출될 수 있다. 카메라 모션이 수직 성분을 가지고 있는 경우, 수직 패럴랙스가 생성될 것이고 수직 패럴랙스는 어떠한 플래너 변환 하에서도 제거될 수 없다. 그러나, 플래너 변환은 카메라 회전 및 주밍을 제거할 수 있고, 따라서 표준 스테레오 쌍을 생성할 수 있다(즉, 좌측 및 우측 이미지들은 정렬되어 동일한 초점 길이 및 평행한 초점면을 가진다).
다시, 도 3의 단계 303을 참조하면, 그러나 수직 패럴랙스가 미리 정의된 임계보다 작지 않은 경우(단계 303에서 부정 결정), 이 방법은 상기 설명된 바와 같이 도 2의 단계 202와 유사한 단계 306으로 점프한다.
즉, 단계 306에서, 코스트 함수는 도 2의 단계 202를 참조하여 상기 설명된 카메라 모션에 기초하여 타깃(예를 들면, 우측) 이미지에 대한 최적화된 디스패리티 맵을 추정하도록 구성된다. 단계 306 이후에, 도 3의 방법은 단계 307로 진행한다.
단계 307에서, 코스트 함수는 도 2의 단계 203을 참조하여 상기 설명된 바와 같이 확률적 모델로 변환된다. 단계 307 이후에, 도 3의 방법은 단계 308로 진행한다.
단계 308에서, 확률적 추론 알고리즘이 확률적 모델에 적용되어, 도 2의 단계 204를 참조하여 상기 설명된 바와 같이 디스패리티 모델들의 확률을 결정한다. 단계 308 이후에, 도 3의 방법은 단계 309로 진행한다.
단계 309에서, 현재의 소스 이미지 Li에 대한 연관된 2D 스테레오 이미지 Ri는 도 2의 단계 205를 참조하여 상기 설명된 바와 같이 추정된 디스패리티 확률 값들을 이용하여 현재의 이미지 Li의 픽셀들의 가중 평균으로서 계산될 수 있다. 그리고나서, 이 방법은 종료될 수 있다.
일반적인 카메라 모션을 가지는 2차원(2D) 모노스코픽 이미지들의 단일 시퀀스(예를 들면, 2D 비디오 이미지 시퀀스)로부터 스테레오스코픽 이미지 쌍들을 생성하기 위한 방법 및 시스템에 대한 양호한 실시예들이 설명되었으므로(예시적인 것으로서 제한하려는 것은 아니다), 유의할 점은 상기 사상들을 감안하여 본 기술분야의 숙련자들에 의해 변형들 및 변동들이 만들어질 수 있다는 점이다. 그러므로, 첨부된 청구항들에 의해 윤곽지어지는 본 발명의 범주 및 사상 내에 있는 개시된 본 발명의 특정 실시예들에서 변경들이 만들어질 수 있다는 것은 자명하다. 상기는 본 발명의 다양한 실시예들에 관한 것이지만, 본 발명의 다른 및 추가 실시예들은 그 기본적인 범주에서 벗어나지 않고서도 고안될 수도 있다.

Claims (18)

  1. 2차원 이미지 시퀀스를 3차원 이미지로 변환하기 위한 방법으로서,
    2D 이미지들의 모노스코픽 시퀀스에서 연속적인 이미지들 간의 카메라 모션 파라미터들을 결정하는 단계(201) - 여기에서 상기 연속적인 이미지들은 현재의 기준 이미지 및 인접하는 이미지를 포함함 -;
    상기 카메라 모션 파라미터들을 이용하여 타깃 이미지에 대한 수평 디스패리티 맵을 결정하는 단계(202);
    상기 디스패리티 맵의 각 디스패리티 벡터에 대한 디스패리티 확률 값을 결정하는 단계(203, 204); 및
    상기 타깃 이미지 및 현재의 기준 이미지가 스테레오스코픽 이미지 쌍을 포함하도록, 상기 디스패리티 확률 값들을 이용하여 상기 현재의 기준 이미지의 픽셀 값들의 가중 평균으로서 타깃 이미지를 결정하는 단계(205)
    를 포함하는 이미지 변환 방법.
  2. 제1항에 있어서, 상기 수평 디스패리티 맵을 결정하는 단계는,
    상기 수평 디스패리티 맵 하에서 현재의 기준 이미지의 픽셀을 인접하는 이미지의 픽셀로 매칭하는 코스트를 결정하는 픽셀 매칭 코스트 함수 성분, 및 상기 수평 디스패리티 맵의 이웃하는 픽셀 로케이션들의 디스패리티 값들의 유사성을 고려하여 스무드한 수평 디스패리티 맵을 획득하는 스무딩 코스트 함수 성분을 포함하는 코스트 함수를 구성하는 단계(202)를 포함하는 이미지 변환 방법.
  3. 제1항에 있어서, 상기 디스패리티 맵의 디스패리티 벡터들에 대한 디스패리티 확률 값들을 결정하는 단계는,
    상기 수평 디스패리티 맵의 확률적 모델을 결정하는 단계(203) - 여기에서 각 픽셀에 대한 디스패리티 벡터들의 값은 복수의 이산 값 중 하나일 수 있는 랜덤 값들로 간주됨 -;
    확률적 추론 알고리즘을 이용하여 상기 디스패리티 맵에서 각 디스패리티 벡터에 대한 최대 가능성있는 디스패리티 값을 결정하는 단계(204); 및
    상기 주어진 픽셀에 대한 가중 값으로서 최대 확률 디스패리티 값과 연관된 확률 값을 적용하는 단계(204)
    를 포함하는 이미지 변환 방법.
  4. 제3항에 있어서, 상기 수평 디스패리티 맵의 확률적 모델을 결정하는 단계는,
    상기 수평 디스패리티 맵 하에서 현재의 기준 이미지의 픽셀을 인접하는 이미지의 픽셀로 매칭하는 코스트를 결정하는 픽셀 매칭 코스트 함수 성분, 및 상기 수평 디스패리티 맵의 이웃하는 픽셀 로케이션들의 디스패리티 값들의 유사성을 고려하여 스무드한 수평 디스패리티 맵을 획득하는 스무딩 코스트 함수 성분을 포함하는 코스트 함수를 구성하는 단계(202); 및
    상기 코스트 함수들을 대응하는 에너지 함수들로 변환하는 단계(203)
    를 포함하는 이미지 변환 방법.
  5. 제3항에 있어서, 상기 확률적 모델은 마르코프 랜덤 필드 모델인 이미지 변환 방법.
  6. 제5항에 있어서, 상기 마르코프 랜덤 필드는 제1 및 제2 에너지 함수들에 의해 정의되고, 상기 제1 에너지 함수는 매칭 코스트 함수에 대응하며 상기 제2 에너지 함수는 스무드니스 코스트 함수에 대응하는 이미지 변환 방법.
  7. 제3항에 있어서, 상기 확률적 추론 알고리즘은 신뢰 전파 알고리즘인 이미지 변환 방법.
  8. 제1항에 있어서,
    상기 카메라 모션 파라미터들을 이용하여, 상기 현재의 기준 이미지와 인접하는 이미지 사이의 수직 카메라 모션의 양을 결정하는 단계(301); 및
    상기 수직 모션의 양이 소정 임계보다 작은 경우에 상기 현재의 기준 이미지로부터 타깃 이미지를 게산하도록 플래너 변환을 수행하는 단계(304)
    를 더 포함하는 이미지 변환 방법.
  9. 제1항에 있어서, 상기 카메라 모션 파라미터들을 이용하여 타깃 이미지에 대한 수평 디스패리티 맵을 결정하는 단계 이전에, 상기 현재의 기준 이미지 및 인접하는 이미지를 편위 수정(rectify)하는 단계를 더 포함하는 이미지 변환 방법.
  10. 2차원 이미지 시퀀스를 3차원 이미지로 변환하기 위한 시스템(100)으로서,
    2D 이미지들의 제1 모노스코픽 시퀀스의 연속적인 이미지들을 저장하기 위한 이미지 데이터 버퍼(111) - 여기에서 상기 연속적인 이미지들은 현재의 기준 이미지 및 인접하는 이미지를 포함함 -; 및
    상기 이미지 데이터 버퍼에 저장된 연속적인 이미지들 간의 카메라 모션 파라미터들을 결정하는 카메라 모션 추정 모듈(112), 상기 카메라 모션 파라미터들을 이용하여 타깃 이미지에 대한 수평 디스패리티 맵을 결정하고 또한 상기 디스패리티 맵의 각 디스패리티 벡터에 대한 디스패리티 확률 값을 결정하는 디스패리티 맵 추정 모듈(115), 및 상기 타깃 이미지 및 현재의 기준 이미지가 스테레오스코픽 이미지 쌍을 포함하도록, 상기 디스패리티 확률 값들을 이용하여 상기 현재의 기준 이미지의 픽셀 값들의 가중 평균으로서 타깃 이미지를 결정하는 이미지 렌더링 모듈(116)을 포함하는 이미지 데이터 처리 시스템(110)
    을 포함하는 이미지 변환 시스템.
  11. 제10항에 있어서,
    상기 이미지 데이터 처리 시스템(110)은 상기 디스패리티 맵 추정 모듈에 의해 상기 수평 디스패리티 맵을 결정하는데 이용되는 코스트 함수를 구성하는 코스트 함수 생성 모듈(113)을 포함하고,
    여기에서 상기 코스트 함수는 상기 수평 디스패리티 맵 하에서 현재의 기준 이미지의 픽셀을 인접하는 이미지의 픽셀로 매칭하는 코스트를 결정하는 픽셀 매칭 코스트 함수 성분, 및 상기 수평 디스패리티 맵의 이웃하는 픽셀 로케이션들의 디스패리티 값들의 유사성을 고려하여 스무드한 수평 디스패리티 맵을 획득하는 스무딩 코스트 함수 성분을 포함하는 이미지 변환 시스템.
  12. 제10항에 있어서,
    상기 이미지 데이터 처리 시스템은 상기 수평 디스패리티 맵의 확률적 모델을 결정하는 확률 함수 생성 모듈(113) - 여기에서 각 픽셀에 대한 디스패리티 벡터들의 값은 복수의 이산 값 중 하나일 수 있는 랜덤 값들로 간주됨 -을 포함하고,
    상기 디스패리티 맵 추정 모듈(115)은 확률적 추론 알고리즘을 이용하여 상기 디스패리티 맵에서 각 디스패리티 벡터에 대한 최대 가능성있는 디스패리티 값을 결정하고, 상기 주어진 픽셀에 대한 가중 값으로서 최대 확률 디스패리티 값과 연관된 확률 값을 적용하는 이미지 변환 시스템.
  13. 제12항에 있어서, 상기 확률적 모델은 마르코프 랜덤 필드 모델인 이미지 변환 시스템.
  14. 제13항에 있어서, 상기 마르코프 랜덤 필드는 제1 및 제2 에너지 함수들에 의해 정의되고, 상기 제1 에너지 함수는 매칭 코스트 함수에 대응하며 상기 제2 에너지 함수는 스무드니스 코스트 함수에 대응하는 이미지 변환 시스템.
  15. 제13항에 있어서, 상기 확률적 추론 알고리즘은 신뢰 전파 알고리즘인 이미지 변환 시스템.
  16. 제10항에 있어서, 상기 이미지 데이터 처리 시스템은,
    상기 수평 디스패리티 맵 하에서 현재의 기준 이미지의 픽셀을 인접하는 이미지의 픽셀로 매칭하는 코스트를 결정하는 픽셀 매칭 코스트 함수 성분, 및 상기 수평 디스패리티 맵의 이웃하는 픽셀 로케이션들의 디스패리티 값들의 유사성을 고려하여 스무드한 수평 디스패리티 맵을 획득하는 스무딩 코스트 함수 성분을 포함하는 코스트 함수를 구성하는 코스트 함수 생성 모듈(113); 및
    상기 수평 디스패리티 맵의 확률 함수 모델을 구성하는 확률 함수 생성 모듈(113) - 여기에서 각 픽셀에 대한 디스패리티 벡터들의 값은 복수의 이산 값 중 하나일 수 있는 랜덤 값들로 간주되고, 상기 확률 함수 모델은 상기 코스트 함수의 코스트 함수 성분들을, 상기 확률 모델과 연관된 대응하는 에너지 함수들로 변환함으로써 구성됨 -
    을 포함하는 이미지 변환 시스템.
  17. 제10항에 있어서,
    상기 카메라 모션 추정 모듈(112)은 상기 카메라 모션 파라미터들을 이용하여 상기 현재의 기준 이미지와 인접하는 이미지 간의 수직 카메라 모션의 양을 결정하고,
    상기 시스템은 플래너 변환 함수를 계산하고, 상기 카메라 모션 추정 모듈이 상기 수직 모션의 양이 소정 임계보다 작은 것으로 결정하는 경우에 상기 플래너 변환 함수를 이용하여 상기 현재의 기준 이미지로부터 타깃 이미지를 계산하는 플래너 변환 생성 모듈(114)을 더 포함하는 이미지 변환 시스템.
  18. 제10항에 있어서, 상기 현재의 기준 이미지 및 인접하는 이미지가 기준 스테레오 이미지 쌍이 되도록 상기 현재의 기준 이미지 및 인접하는 이미지를 편위 수정하고 캘리브레이팅하는 이미지 편위 수정 및 캘리브레이션 모듈(112)을 더 포함하는 이미지 변환 시스템.
KR1020107019155A 2008-01-29 2008-01-29 2ｄ 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템 KR101419979B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2008/001151 WO2009096912A1 (en) 2008-01-29 2008-01-29 Method and system for converting 2d image data to stereoscopic image data

Publications (2)

Publication Number Publication Date
KR20100119559A true KR20100119559A (ko) 2010-11-09
KR101419979B1 KR101419979B1 (ko) 2014-07-16

Family

ID=39790350

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107019155A KR101419979B1 (ko) 2008-01-29 2008-01-29 2ｄ 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템

Country Status (7)

Country Link
US (1) US9137518B2 (ko)
EP (1) EP2235955A1 (ko)
JP (1) JP5561781B2 (ko)
KR (1) KR101419979B1 (ko)
CN (1) CN101933335B (ko)
BR (1) BRPI0822142A2 (ko)
WO (1) WO2009096912A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017095576A1 (en) * 2015-12-01 2017-06-08 Intel Corporation Method and system of curved object recognition using image matching for image processing
US9916667B2 (en) 2014-07-18 2018-03-13 Samsung Electronics Co., Ltd. Stereo matching apparatus and method through learning of unary confidence and pairwise confidence
KR20180042419A (ko) * 2015-08-31 2018-04-25 주식회사 실리콘아츠 헤드 마운트 디스플레이의 가상현실 생성방법 및 이를 수행하는 헤드 마운트 디스플레이
KR102116770B1 (ko) 2018-12-26 2020-05-29 한화글로벌에셋 주식회사 백색층용 조성물, 이를 이용한 백색 커버레이 필름, 및 그 제조 방법

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8576228B2 (en) * 2008-01-18 2013-11-05 Sony Corporation Composite transition nodes for use in 3D data generation
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
US8345956B2 (en) * 2008-11-03 2013-01-01 Microsoft Corporation Converting 2D video into stereo video
CN101790103B (zh) 2009-01-22 2012-05-30 华为技术有限公司 一种视差计算方法及装置
US8395709B2 (en) * 2009-03-04 2013-03-12 ATI Technology ULC 3D video processing
WO2010143820A2 (ko) * 2009-06-08 2010-12-16 엘지전자 주식회사 3차원 pip 영상 제공 장치 및 그 방법
US20110025830A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
WO2011014419A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
KR101347744B1 (ko) * 2009-08-19 2014-01-03 서울시립대학교 산학협력단 영상 처리 장치 및 방법
US20110080466A1 (en) * 2009-10-07 2011-04-07 Spatial View Inc. Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images
BR112012021091A2 (pt) * 2010-02-24 2018-04-03 Thomson Licensing tela dividida para 3d
JP2011216937A (ja) * 2010-03-31 2011-10-27 Hitachi Consumer Electronics Co Ltd 立体画像表示装置
CN102907111A (zh) 2010-06-02 2013-01-30 日立民用电子株式会社 接收装置、显示控制方法、发送装置和发送方法
JP5505637B2 (ja) * 2010-06-24 2014-05-28 ソニー株式会社 立体表示装置および立体表示装置の表示方法
US9344701B2 (en) 2010-07-23 2016-05-17 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation
WO2012037685A1 (en) * 2010-09-22 2012-03-29 Berfort Management Inc. Generating 3d stereoscopic content from monoscopic video content
KR101669840B1 (ko) * 2010-10-21 2016-10-28 삼성전자주식회사 다시점 비디오로부터 일관성 있는 변이를 추정하는 변이 추정 시스템 및 방법
US8824762B2 (en) * 2010-10-22 2014-09-02 The Johns Hopkins University Method and system for processing ultrasound data
US9185388B2 (en) 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US9123115B2 (en) * 2010-11-23 2015-09-01 Qualcomm Incorporated Depth estimation based on global motion and optical flow
US9171372B2 (en) * 2010-11-23 2015-10-27 Qualcomm Incorporated Depth estimation based on global motion
JP5468526B2 (ja) * 2010-11-25 2014-04-09 株式会社東芝 画像処理装置及び画像処理方法
WO2012078124A1 (en) 2010-12-08 2012-06-14 Thomson Licensing Complexity estimation of a 2d/3d conversion
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
CN105894567B (zh) * 2011-01-07 2020-06-30 索尼互动娱乐美国有限责任公司 放缩三维场景中的用户控制的虚拟对象的像素深度值
US20130120528A1 (en) * 2011-01-09 2013-05-16 Thomson Licensing Video processing apparatus and method for detecting a temporal synchronization mismatch
US8823777B2 (en) * 2011-03-30 2014-09-02 Intel Corporation Real-time depth extraction using stereo correspondence
US8941717B2 (en) * 2011-04-08 2015-01-27 Tektronix, Inc. Semi-automatic 3D stereoscopic disparity cursor
CN102158725B (zh) * 2011-05-06 2013-04-10 深圳超多维光电子有限公司 一种生成立体图像的方法和系统
KR20130003135A (ko) * 2011-06-30 2013-01-09 삼성전자주식회사 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법 및 장치
US8786681B1 (en) * 2011-07-05 2014-07-22 Lucasfilm Entertainment Company, Ltd. Stereoscopic conversion
US9118902B1 (en) 2011-07-05 2015-08-25 Lucasfilm Entertainment Company Ltd. Stereoscopic conversion
JP5318168B2 (ja) * 2011-09-07 2013-10-16 シャープ株式会社 立体画像処理装置、立体画像処理方法、及びプログラム
KR101863626B1 (ko) * 2011-11-02 2018-07-06 삼성전자주식회사 영상 처리 장치 및 방법
US9471988B2 (en) 2011-11-02 2016-10-18 Google Inc. Depth-map generation for an input image using an example approximate depth-map associated with an example similar image
US9661307B1 (en) * 2011-11-15 2017-05-23 Google Inc. Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D
CN102421003A (zh) * 2011-11-21 2012-04-18 宝利微电子系统控股公司 图像处理方法和装置
JP2013123153A (ja) * 2011-12-12 2013-06-20 Sony Corp 画像処理装置、その制御方法およびプログラム
US9111350B1 (en) 2012-02-10 2015-08-18 Google Inc. Conversion of monoscopic visual content to stereoscopic 3D
WO2013145554A1 (ja) * 2012-03-29 2013-10-03 パナソニック株式会社 画像処理装置及び画像処理方法
US9729849B2 (en) 2012-04-19 2017-08-08 Intel Corporation 3D video coding including depth based disparity vector calibration
AU2013249004B2 (en) 2012-04-20 2018-05-10 Affirmation, Llc Systems and methods for real-time conversion of video into three-dimensions
WO2013170040A1 (en) * 2012-05-11 2013-11-14 Intel Corporation Systems and methods for row causal scan-order optimization stereo matching
DE102012209316A1 (de) * 2012-06-01 2013-12-05 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verarbeiten von Sensordaten eines Stereosensorsystems
US9648347B1 (en) * 2012-06-14 2017-05-09 Pixelworks, Inc. Disparity postprocessing and interpolation for motion estimation and motion correction
CN102802006B (zh) * 2012-08-03 2014-08-06 梁智伟 数码照相机、层叠式相片印刷器和立体彩色图像制作系统
KR101429349B1 (ko) * 2012-09-18 2014-08-12 연세대학교 산학협력단 중간 시점 영상 합성 장치 및 방법과 이에 관한 기록매체
US8867826B2 (en) * 2012-11-26 2014-10-21 Mitusbishi Electric Research Laboratories, Inc. Disparity estimation for misaligned stereo image pairs
US9237345B2 (en) * 2013-02-26 2016-01-12 Qualcomm Incorporated Neighbor block-based disparity vector derivation in 3D-AVC
US10205889B2 (en) * 2013-03-08 2019-02-12 Digitarena Sa Method of replacing objects in a video stream and computer program
US9674498B1 (en) 2013-03-15 2017-06-06 Google Inc. Detecting suitability for converting monoscopic visual content to stereoscopic 3D
TWI538476B (zh) * 2014-03-24 2016-06-11 立普思股份有限公司 立體攝影系統及其方法
CA2848794C (en) * 2014-04-11 2016-05-24 Blackberry Limited Building a depth map using movement of one camera
KR102224716B1 (ko) 2014-05-13 2021-03-08 삼성전자주식회사 스테레오 소스 영상 보정 방법 및 장치
US9888229B2 (en) * 2014-06-23 2018-02-06 Ricoh Company, Ltd. Disparity estimation for multiview imaging systems
US9978135B2 (en) * 2015-02-27 2018-05-22 Cognex Corporation Detecting object presence on a target surface
US9779328B2 (en) * 2015-08-28 2017-10-03 Intel Corporation Range image generation
US10121221B2 (en) * 2016-01-18 2018-11-06 Advanced Micro Devices, Inc. Method and apparatus to accelerate rendering of graphics images
FR3054347B1 (fr) * 2016-07-19 2019-08-23 Safran Procede et dispositif d'aide a la navigation d'un vehicule
WO2018211127A1 (en) * 2017-05-19 2018-11-22 Movidius Ltd. Methods, systems and apparatus to optimize pipeline execution
KR102455632B1 (ko) * 2017-09-14 2022-10-17 삼성전자주식회사 스테레오 매칭 방법 및 장치
US10839541B2 (en) * 2018-03-14 2020-11-17 Google Llc Hierarchical disparity hypothesis generation with slanted support windows
WO2020084091A1 (en) * 2018-10-25 2020-04-30 Five AI Limited Stereo image processing
US10956762B2 (en) 2019-03-29 2021-03-23 Advanced New Technologies Co., Ltd. Spoof detection via 3D reconstruction
CN110223219B (zh) * 2019-05-22 2023-04-28 北京卡路里信息技术有限公司 3d图像的生成方法及装置
CN111656404B (zh) * 2019-05-30 2024-03-01 深圳市大疆创新科技有限公司 图像处理方法、系统及可移动平台
US10984270B2 (en) * 2019-06-21 2021-04-20 Advanced New Technologies Co., Ltd. Spoof detection by estimating subject motion from captured image frames
AT524118B1 (de) * 2020-10-15 2022-03-15 Ait Austrian Inst Tech Gmbh Computer-implementiertes Verfahren zur Erstellung von mehrdimensionalen Gegenstands-Datenstrukturen
CN112203073B (zh) * 2020-12-07 2021-03-05 南京爱奇艺智能科技有限公司 一种适用于vr实时渲染应用的异步帧外插管线方法和系统
WO2023184527A1 (en) * 2022-04-02 2023-10-05 Covidien Lp System and method for unsupervised stereoscopic reconstruction with disparity consistency

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2700654B1 (fr) 1993-01-19 1995-02-17 Thomson Csf Procédé d'estimation de disparité entre les images monoscopiques constituant une image stéréoscopiques.
JP3477023B2 (ja) 1996-04-05 2003-12-10 松下電器産業株式会社 多視点画像伝送方法および多視点画像表示方法
US6163337A (en) 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
JP3769850B2 (ja) 1996-12-26 2006-04-26 松下電器産業株式会社 中間視点画像生成方法および視差推定方法および画像伝送方法
JP3753201B2 (ja) 1996-07-22 2006-03-08 富士写真フイルム株式会社 視差画像入力装置
KR100307883B1 (ko) * 1998-04-13 2001-10-19 박호군 정합화소수를이용한유사도측정방법및이를구현하기위한장치
GB2372659A (en) * 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
US7184071B2 (en) * 2002-08-23 2007-02-27 University Of Maryland Method of three-dimensional object reconstruction from a video sequence using a generic model
GB2418314A (en) * 2004-09-16 2006-03-22 Sharp Kk A system for combining multiple disparity maps
KR100603603B1 (ko) * 2004-12-07 2006-07-24 한국전자통신연구원 변위 후보 및 이중 경로 동적 프로그래밍을 이용한 스테레오 변위 결정 장치 및 그 방법
US7512262B2 (en) * 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
US8384763B2 (en) 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
WO2007017834A2 (en) 2005-08-09 2007-02-15 Koninklijke Philips Electronics N.V. Disparity value generator
US7599547B2 (en) 2005-11-30 2009-10-06 Microsoft Corporation Symmetric stereo model for handling occlusion
US20070165942A1 (en) 2006-01-18 2007-07-19 Eastman Kodak Company Method for rectifying stereoscopic display systems
JP5011316B2 (ja) 2006-02-27 2012-08-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 出力画像のレンダリング
KR100762670B1 (ko) * 2006-06-07 2007-10-01 삼성전자주식회사 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9916667B2 (en) 2014-07-18 2018-03-13 Samsung Electronics Co., Ltd. Stereo matching apparatus and method through learning of unary confidence and pairwise confidence
KR20180042419A (ko) * 2015-08-31 2018-04-25 주식회사 실리콘아츠 헤드 마운트 디스플레이의 가상현실 생성방법 및 이를 수행하는 헤드 마운트 디스플레이
WO2017095576A1 (en) * 2015-12-01 2017-06-08 Intel Corporation Method and system of curved object recognition using image matching for image processing
KR102116770B1 (ko) 2018-12-26 2020-05-29 한화글로벌에셋 주식회사 백색층용 조성물, 이를 이용한 백색 커버레이 필름, 및 그 제조 방법

Also Published As

Publication number Publication date
CN101933335B (zh) 2012-09-05
CN101933335A (zh) 2010-12-29
WO2009096912A1 (en) 2009-08-06
JP5561781B2 (ja) 2014-07-30
US9137518B2 (en) 2015-09-15
EP2235955A1 (en) 2010-10-06
BRPI0822142A2 (pt) 2015-06-30
JP2011511532A (ja) 2011-04-07
KR101419979B1 (ko) 2014-07-16
US20110050853A1 (en) 2011-03-03

Similar Documents

Publication Publication Date Title
KR101419979B1 (ko) 2ｄ 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템
US10334168B2 (en) Threshold determination in a RANSAC algorithm
EP2300987B1 (en) System and method for depth extraction of images with motion compensation
US9659382B2 (en) System and method for depth extraction of images with forward and backward depth prediction
JP5160640B2 (ja) 画像のステレオ・マッチングのためのシステム及び方法
US9025862B2 (en) Range image pixel matching method
US9449389B2 (en) Image processing device, image processing method, and program
CN113711276A (zh) 尺度感知单目定位和地图构建
JP4892113B2 (ja) 画像処理方法及び装置
JP2014515197A (ja) 背景ピクセル拡張及び背景優先パッチマッチングを用いるマルチビューレンダリング装置及び方法
GB2567245A (en) Methods and apparatuses for depth rectification processing
JP2007053621A (ja) 画像生成装置
CN117456114B (zh) 基于多视图的三维图像重建方法及系统
KR20140067253A (ko) 영상 처리 장치 및 방법
Raviya et al. Depth and Disparity Extraction Structure for Multi View Images-Video Frame-A Review
KR20220071935A (ko) 광학 흐름을 이용한 고해상도 깊이 영상 추정 방법 및 장치
CN117670969A (zh) 深度估计方法、装置、终端设备以及存储介质
JP2008090608A (ja) 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170616

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190716

Year of fee payment: 6