KR101777875B1 - 입체 영상 표시장치와 그 입체 영상 조절 방법 - Google Patents

입체 영상 표시장치와 그 입체 영상 조절 방법 Download PDF

Info

Publication number
KR101777875B1
KR101777875B1 KR1020110040005A KR20110040005A KR101777875B1 KR 101777875 B1 KR101777875 B1 KR 101777875B1 KR 1020110040005 A KR1020110040005 A KR 1020110040005A KR 20110040005 A KR20110040005 A KR 20110040005A KR 101777875 B1 KR101777875 B1 KR 101777875B1
Authority
KR
South Korea
Prior art keywords
image
depth map
depth
roi
eye image
Prior art date
Application number
KR1020110040005A
Other languages
English (en)
Other versions
KR20120122042A (ko
Inventor
백흠일
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020110040005A priority Critical patent/KR101777875B1/ko
Priority to CN201110399315.4A priority patent/CN102761761B/zh
Priority to US13/312,493 priority patent/US8963913B2/en
Priority to TW100146928A priority patent/TWI511522B/zh
Priority to DE102011057187.6A priority patent/DE102011057187B4/de
Publication of KR20120122042A publication Critical patent/KR20120122042A/ko
Application granted granted Critical
Publication of KR101777875B1 publication Critical patent/KR101777875B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Abstract

본 발명은 입체 영상 표시장치와 그 입체 영상 조절 방법에 관한 것으로, 그 입체 영상 표시장치는 3D 입력 영상에서 관심 영역과 뎁쓰 맵을 추출하는 관심 영역 및 뎁쓰 맵 추출부; 상기 관심 영역의 평균 뎁쓰를 계산하는 평균 뎁쓰 계산부; 상기 관심 영역의 평균 뎁쓰를 표시패널의 화면 뎁쓰값으로 변환하고 상기 3D 입력 영상의 뎁쓰 값들을 상기 관심 영역의 평균 뎁쓰가 시프트된 만큼 상기 평균 뎁쓰의 시프트 방향으로 시프트시켜 상기 3D 입력 영상의 뎁쓰 맵을 조정하는 뎁쓰 맵 조정부; 상기 뎁쓰 맵 조정부에 의해 조정된 뎁쓰 맵을 바탕으로 좌안 영상 데이터와 우안 영상 데이터를 생성하는 좌/우안 영상 생성부; 및 상기 좌/우안 영상 생성부로부터 입력된 좌안 영상 데이터와 우안 영상 데이터를 상기 표시패널에 표시하는 표시패널 구동부를 포함한다.

Description

입체 영상 표시장치와 그 입체 영상 조절 방법{STEREOSCOPIC IMAGE DISPLAY AND METHOD OF ADJUSTING STEREOSCOPIC IMAGE THEREOF}
본 발명은 입체 영상 표시장치와 그 입체 영상 조절 방법에 관한 것이다.
입체 영상 표시장치는 양안시차 방식(stereoscopic technique)과 복합시차지각 방식(autostereoscopic technique)으로 나뉘어진다.
양안시차 방식은 입체 효과가 큰 좌우 눈의 시차 영상을 이용하며, 안경방식과 무안경방식으로 나뉘어진다. 안경방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상의 편광 방향을 바꿔서 또는 시분할 방식으로 표시하고, 편광 안경 또는 셔터 안경을 사용하여 입체 영상을 구현한다. 무안경 방식은 일반적으로 패럴렉스 베리어, 렌티큘라 렌즈 등의 광학판을 이용하여 좌우 시차 영상의 광축을 분리하여 입체 영상을 구현한다.
양안시차 방식은 좌안 영상과 우안 영상의 양안 시차(disparity)에 의해 시청자가 허상이 화면의 앞이나 뒤에 맺히는 것으로 느끼도록 하여 입체 영상을 표시한다. 양안시차 방식의 입체감과 시청자의 피로도는 입체 영상의 양안 시차 정도에 따라 서로 상보적인 관계가 있다. 양안시차 방식의 입체 영상 표시장치의 입체 영상 구현 방식이나 최적화 정도에 따라 좌안 영상과 우안 영상의 시청자의 단안(좌안 또는 우안)에 겹쳐 보이게 되는 3D 크로스토크(crosstalk) 문제가 있다.
허상의 위치가 입체 영상 표시장치의 화면(screen)으로부터 ±0.3D(Diopter) 이상으로 멀어지면 눈의 수렴(convergence)과 조절(Accomodation) 간의 불일치가 심해진다. 그 결과, 화면으로부터 화상이 멀어질수록 시청자의 피로도가 증가한다. "±0.3D"에서 디옵터(diopter, D)는 초점거리(m)의 역수이다. 3D 크로스토크는 허상이 화면으로부터 멀어질수록 발생할 가능성이 높다.
도 1a 및 도 1b는 입체 영상에서 허상의 예들을 보여 주는 도면들이다.
시청자의 좌안으로 관찰되는 좌안 영상(L)과 시청자의 우안으로 관찰되는 우안 영상(R)의 빛이 도 1a와 같이 화면 앞에서 교차되면, 화면 앞에서 허상의 초점이 맺히므로 허상이 화면 앞에 보인다. 이에 반하여, 시청자의 좌안으로 관찰되는 좌안 영상(L)과 시청자의 우안으로 관찰되는 우안 영상(R)의 빛이 도 1b와 같이 화면 뒤에서 교차되면 화면 뒤에서 허상의 초점이 맺히므로 허상이 화면 뒤에 보인다. 한편, 시청자의 좌안으로 관찰되는 좌안 영상(L)과 시청자의 우안으로 관찰되는 우안 영상(R)이 시차 없이 화면 상에 표시되면, 시청자는 화면에 맺힌 화상을 허상으로 느끼지 않는다. 도 1a 및 도 1b의 경우에, 동일한 픽셀 데이터가 좌안 영상과 우안 영상 간에 양안 시차가 있다. 이에 비하여, 도 1c의 경우에, 동일한 픽셀 데이터가 좌안 영상과 우안 영상 간에 양안 시차가 없다.
특히, 입체 영상에서 관심 영역의 허상이 화면 앞에서 보이면 시청자의 피로도가 커지고 3D 크로스토크가 심하게 느껴질 수 있다. 관심 영역(Region of interest, ROI)은 OOI(Objcect of interest) 또는 Saliency로도 알려져 있으며, 입체 영상의 한 화면에서 시청자가 가장 주목하는 객체(object)이다. 일반적으로, 시청자는 관심 영역 위주로 입체 영상을 감상한다. 관심 영역은 입체 영상의 한 화면에서 초점이 가장 잘 맺히는 영역, 클로즈업(close up)된 사람, 주변과 대비가 큰 사물 등이다.
입체 영상 표시장치에는 도 2와 같이 3D 영상의 좌안 영상과 우안 영상이 좌우로 분할된 포맷의 데이터로 입력될 수 있다. 도 2에서 관심 영역은 화면의 중앙에 클로즈 업된 여성의 상반신이다. 도 2와 같은 좌안 영상과 우안 영상 각각의 해상도를 표시패널의 해상도에 맞게 조정하여 표시패널에 함께 표시패널에 표시하면, 도 3과 같이 관심 영역의 양안 시차로 인하여 관심 영역의 허상이 화면 앞에서 보이고 좌안 영상과 우안 영상이 겹쳐 보이는 3D 크로스토크가 보일 수 있다.
본 발명은 입체감의 손실 없이 시청자의 피로도를 저감할 수 있는 입체 영상 표시장치와 그 입체 영상 조절 방법이다.
본 발명의 입체 영상 표시장치는 3D 입력 영상에서 관심 영역과 뎁쓰 맵을 추출하는 관심 영역 및 뎁쓰 맵 추출부; 상기 관심 영역의 평균 뎁쓰를 계산하는 평균 뎁쓰 계산부; 상기 관심 영역의 평균 뎁쓰를 표시패널의 화면 뎁쓰값으로 변환하고 상기 3D 입력 영상의 뎁쓰 값들을 상기 관심 영역의 평균 뎁쓰가 시프트된 만큼 상기 평균 뎁쓰의 시프트 방향으로 시프트시켜 상기 3D 입력 영상의 뎁쓰 맵을 조정하는 뎁쓰 맵 조정부; 상기 뎁쓰 맵 조정부에 의해 조정된 뎁쓰 맵을 바탕으로 좌안 영상 데이터와 우안 영상 데이터를 생성하는 좌/우안 영상 생성부; 및 상기 좌/우안 영상 생성부로부터 입력된 좌안 영상 데이터와 우안 영상 데이터를 상기 표시패널에 표시하는 표시패널 구동부를 포함한다.
상기 입체 영상 표시장치는 2D 입력 영상을 상기 3D 입력 영상으로 변환하는 2D-3D 영상 변환부를 더 포함한다.
상기 표시패널은 액정표시소자(LCD), 전계 방출 표시소자(FED), 플라즈마 디스플레이 패널(PDP), 유기발광다이오드소자(OLED)를 포함한 전계발광소자(EL), 및 전기영동 표시소자(EPD) 중 어느 하나의 표시패널로 구현된다.
상기 입체 영상 표시장치의 입체 영상 조절 방법은 3D 입력 영상에서 관심 영역과 뎁쓰 맵을 추출하는 단계; 상기 관심 영역의 평균 뎁쓰를 계산하는 단계; 상기 관심 영역의 평균 뎁쓰를 표시패널의 화면 뎁쓰값으로 변환하고 상기 3D 입력 영상의 뎁쓰 값들을 상기 관심 영역의 평균 뎁쓰가 시프트된 만큼 상기 평균 뎁쓰의 시프트 방향으로 시프트시켜 상기 3D 입력 영상의 뎁쓰 맵을 조정하는 단계; 조정된 상기 뎁쓰 맵을 바탕으로 좌안 영상 데이터와 우안 영상 데이터를 생성하는 단계; 및 상기 좌안 영상 데이터와 우안 영상 데이터를 상기 표시패널에 표시하는 단계를 포함한다.
본 발명은 3D 입력 영상으로부터 관심 영역을 추출하고 그 관심 영역의 평균 뎁쓰를 화면 위치의 뎁쓰값으로 변환하고 이를 기준으로 3D 입력 영상의 입체감이 유지되도록 3D 입력 영상의 뎁쓰 맵을 조정한다. 그 결과, 본 발명은 3D 입력 영상의 관심 영역을 양안 시차 없는 이미지로 구현하여 3D 크로스토크를 최소화할 수 있을 뿐 아니라, 입체감의 손실 없이 시청자의 피로도를 저감할 수 있다.
도 1a는 입체 영상 표시장치에서 허상이 화면 앞에서 보이는 예를 보여 주는 도면이다.
도 1b는 입체 영상 표시장치에서 허상이 화면 뒤에서 보이는 예를 보여 주는 도면이다.
도 1c는 입체 영상 표시장치에서 화면 상에서 허상 없이 영상이 보이는 예를 보여 주는 도면이다.
도 2는 입체 영상의 좌안 영상과 우안 영상이 좌우로 분할된 예를 보여 주는 이미지이다.
도 3은 도 2와 같은 좌안 영상과 우안 영상의 해상도를 표시패널의 해상도에 맞게 변환하여 그 표시패널에 함께 표시한 예를 보여 주는 이미지이다.
도 4는 본 발명의 실시예에 따른 입체 영상 표시장치의 입체 영상 조절 방법을 단계적으로 보여 주는 흐름도이다.
도 5는 본 발명의 제1 실시예에 따른 입체 영상 표시장치의 입체 영상 조절 회로를 보여 주는 도면이다.
도 6은 본 발명의 제2 실시예에 따른 입체 영상 표시장치의 입체 영상 조절 회로를 보여 주는 도면이다.
도 7은 본 발명의 제3 실시예에 따른 입체 영상 표시장치의 입체 영상 조절 회로를 보여 주는 도면이다.
도 8a는 관심 영역의 허상이 화면의 앞에 위치하는 3D 입력 영상의 일 예를 보여 주는 도면이다.
도 8b는 도 8a와 같은 3D 입력 영상에서 관심 영역의 평균 뎁쓰를 화면 위치로 변환하고 다른 뎁쓰 값들을 평균 뎁쓰의 시프트 방향과 같은 방향으로 시프트한 예를 보여 주는 도면이다.
도 9a는 관심 영역의 허상이 화면의 뒤에 위치하는 3D 입력 영상의 일 예를 보여 주는 도면이다.
도 9b는 도 9a와 같은 3D 입력 영상에서 관심 영역의 평균 뎁쓰를 화면 위치로 변환하고 다른 뎁쓰 값들을 평균 뎁쓰의 시프트 방향과 같은 방향으로 시프트한 예를 보여 주는 도면이다.
도 10은 본 발명의 실험 결과를 보여 주는 이미지들이다.
도 11은 본 발명의 입체 영상 표시장치를 보여 주는 블록도이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
도 4를 참조하면, 본 발명의 실시예에 따른 입체 영상 표시장치의 입체 영상 조절 방법은 3D 모드에서 3D 입력 영상의 좌안 영상과 우안 영상 중 어느 하나를 기준 영상 데이터로 선택한다. 그리고 본 발명의 입체 영상 조절 방법은 기준 영상 데이터에서 관심 영역(ROI)을 추출하고, 3D 입력 영상의 양안 시차 깊이를 보여 주는 뎁쓰 맵(Depth map)을 계산한다.(S1 및 S2) 관심 영역(ROI)의 추출 방법과 뎁쓰 맵 계산 방법은 공지된 어떠한 방법으로도 구현될 수 있다. 예컨대, 관심 영역(ROI)의 추출 방법은 「Xiaodi Hou 와 Liqing Zhang 공저의 "Saliency Detection : A Spectral Residual Approach" Proc. CVPR, 2007.」에 개시된 방법을 이용할 수 있다. 뎁쓰 맵 계산 방법은 「Andreas Klaus, Mario Sorman 및 Konrad Karner 공저의 "Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure" Proc. IEEE Int. Conf. Pattern Recognit. pp. 15 2006.」에 개시된 방법을 이용할 수 있다.
이어서, 본 발명의 입체 영상 조절 방법은 관심 영역(ROI)의 뎁쓰 맵에서 평균 뎁쓰(AD(ROI))를 계산한다.(S3) 본 발명의 입체 영상 조절 방법은 S3 단계에서 계산된 관심 영역(ROI)의 평균 뎁쓰(AD(ROI))를 '0'으로 변환하고, 3D 입력 영상의 뎁쓰 차이가 유지되도록 "관심 영역(ROI)의 평균 뎁쓰(AD(ROI)) = 0"을 기준으로 3D 입력 영상의 뎁쓰값들을 시프트(Shift)하여 S2 단계에서 계산된 뎁쓰 맵을 조정한다.(S4)
이어서, 본 발명의 입체 영상 조절 방법은 S4 단계에서 조정된 뎁쓰 맵을 기준 영상 데이에 맵핑하여 조정된 뎁쓰 맵에 의해 정의된 양안시차를 갖는 좌안 영상과 우안 영상 데이터를 생성하여 입체 영상 표시장치에 표시한다.(S5 및 S6) 뎁쓰 맵을 기준으로 좌안 영상과 우안 영상 데이터를 생성하는 방법은 공지된 어떠한 알고리즘으로도 적용 가능하다. 또한, 뎁쓰 맵을 기준으로 좌안 영상과 우안 영상 데이터를 생성하는 방법은 본원 출원인에 의해 기 출원된 대한민국 특허출원 10-2010-0101767(2010-10-19), 10-2010-0118746(2010-11-26) 등에 개시된 알고리즘을 적용할 수도 있다. 입체 영상 표시장치는 안경 방식이나 무안경 방식으로 입체 영상을 구현할 수 있고, 좌안 영상과 우안 영상을 시분할 또는 공간 분할하여 표시패널에 표시한다.
본 발명의 입체 영상 표시장치는 2D 모드에서 2D 입력 영상을 표시한다.(S7)
도 5 내지 도 7은 본 발명의 다양한 실시예들에 따른 입체 영상 표시장치의 입체 영상 조절 회로를 보여 주는 도면들이다.
도 5는 본 발명의 제1 실시예에 따른 입체 영상 표시장치의 입체 영상 조절 회로를 보여 주는 도면이다.
도 5를 참조하면, 본 발명의 제1 실시예에 따른 입체 영상 조절 회로는 좌/우안 영상 분리부(11), 관심 영역 추출부(12), 뎁쓰 맵 추출부(13), 평균 뎁쓰 계산부(14), 뎁쓰 맵 조정부(15), 좌/우안 영상 생성부(16) 등을 포함한다.
좌/우안 영상 분리부(11)는 3D 입력 영상을 입력 받아, 그 3D 입력 영상으로부터 좌안 영상과 우안 영상을 분리한다. 관심 영역 추출부(12)는 좌/우안 영상 분리부(11)로부터 입력되는 좌안 영상이나 우안 영상으로 선택된 기준 영상 데이터를 분석하여 관심 영역(ROI)을 추출한다. 관심 영역 추출부(12)는 도 5와 같이 좌안 영상을 기준 영상으로 선택하여 그 좌안 영상에서 관심 영역(ROI)을 추출할 수 있고, 우안 영상을 기준 영상으로 선택하여 그 우안 영상에서 관심 영역(ROI)을 추출할 수도 있다. 뎁쓰 맵 추출부(13)는 좌/우안 영상 분리부(11)로부터 입력된 좌안 영상 데이터와 우안 영상을 픽셀간 비교 분석하여 좌안 영상과 우안 영상의 양안 시차 깊이를 정의하는 뎁쓰 맵(DM)을 추출한다.
평균 뎁쓰 계산부(14)는 관심 영역 추출부(12)로부터 입력된 관심 영역(ROI)의 이미지와, 뎁쓰 맵 추출부(13)로부터 입력된 뎁쓰 맵을 맵핑한다. 그리고 평균 뎁쓰 계산부(14)는 관심 영역(ROI)의 뎁쓰 맵을 추출하고 그 관심 영역(ROI)의 뎁쓰 맵으로부터 평균 뎁쓰(AD(ROI))를 계산한다.
뎁쓰 맵 조정부(15)는 평균 뎁쓰 계산부(14)로부터 입력된 관심 영역(ROI)의 평균 뎁쓰(AD(ROI))를 '0'으로 변환한다. 관심 영역(ROI)의 평균 뎁쓰(AD(ROI))가 '0'으로 변환되면 관심 영역(ROI)의 뎁쓰값들 대부분이 화면 상에 또는 그 화면에 근접하여 관심 영역(ROI)에서 좌안 영상과 우안 영상 간의 양안 시차가 거의 없게 된다. 뎁쓰 맵 조정부(15)는 3D 입력 영상에서 좌안 영상과 우안 영상 간의 양안 시차가 유지되어 시청자가 3D 입력 영상의 입체감을 그대로 느낄 수 있도록 "관심 영역(ROI)의 평균 뎁쓰(AD(ROI)) = 0"을 기준으로 3D 입력 영상의 뎁쓰값들을 시프트하여 뎁쓰 맵을 조정한다.
좌/우안 영상 생성부(16)는 뎁쓰 맵 조정부(15)에 의해 조정된 뎁쓰 맵(DM')과 기준 영상 데이터를 맵핑하여 그 뎁쓰 맵(DM')에 의해 정의된 양안 시차를 갖는 좌안 영상 데이터(L)와 우안 영상 데이터(R)를 생성한다.
도 6은 본 발명의 제2 실시예에 따른 입체 영상 표시장치의 입체 영상 조절 회로를 보여 주는 도면이다.
도 6을 참조하면, 본 발명의 제2 실시예에 따른 입체 영상 조절 회로는 기준 영상 및 뎁쓰 맵 분리부(51), 관심 영역 추출부(52), 평균 뎁쓰 계산부(54), 뎁쓰 맵 조정부(55), 좌/우안 영상 생성부(56) 등을 포함한다.
3D 입력 영상은 좌안 영상과 우안 영상을 포함하지 않고, 기준 영상과 뎁쓰 맵을 포함한 포맷으로 인코딩될 수 있다.
기준 영상 및 뎁쓰 맵 분리부(51)는 3D 입력 영상을 입력 받아, 그 3D 입력 영상으로부터 기준 영상과 뎁쓰 맵(DM)을 분리한다. 관심 영역 추출부(52)는 기준 영상 및 뎁쓰 맵 분리부(51)로부터 입력된 기준 영상 데이터를 분석하여 관심 영역(ROI)을 추출한다.
평균 뎁쓰 계산부(54)는 관심 영역 추출부(52)로부터 입력된 관심 영역(ROI)의 이미지와, 기준 영상 및 뎁쓰 맵 분리부(51)로부터 입력된 뎁쓰 맵(DM)을 맵핑한다. 그리고 평균 뎁쓰 계산부(54)는 관심 영역(ROI)의 뎁쓰 맵을 추출하고 그 관심 영역(ROI)의 뎁쓰 맵으로부터 평균 뎁쓰(AD(ROI))를 계산한다.
뎁쓰 맵 조정부(55)는 평균 뎁쓰 계산부(54)로부터 입력된 관심 영역(ROI)의 평균 뎁쓰(AD(ROI))를 '0'으로 변환한다. 관심 영역(ROI)의 평균 뎁쓰(AD(ROI))가 '0'으로 변환되면, 관심 영역(ROI)의 뎁쓰값들 대부분이 화면 상에 또는 그 화면에 근접하여 관심 영역(ROI)에서 좌안 영상과 우안 영상 간의 양안 시차가 거의 없게 된다. 뎁쓰 맵 조정부(55)는 3D 입력 영상에서 좌안 영상과 우안 영상 간의 양안 시차가 유지되어 시청자가 3D 입력 영상의 입체감을 그대로 느낄 수 있도록 "관심 영역(ROI)의 평균 뎁쓰(AD(ROI)) = 0"을 기준으로 3D 입력 영상의 뎁쓰값들을 시프트하여 뎁쓰 맵을 조정한다.
좌/우안 영상 생성부(56)는 뎁쓰 맵 조정부(55)에 의해 조정된 뎁쓰 맵(DM')과 기준 영상 데이터를 맵핑하여 그 뎁쓰 맵(DM')에 의해 정의된 양안 시차를 갖는 좌안 영상 데이터(L)와 우안 영상 데이터(R)를 생성한다.
도 7은 본 발명의 제3 실시예에 따른 입체 영상 표시장치의 입체 영상 조절 회로를 보여 주는 도면이다.
도 7을 참조하면, 본 발명의 제3 실시예에 따른 입체 영상 조절 회로는 2D-3D 영상 변환부(60), 기준 영상 및 뎁쓰 맵 분리부(61), 관심 영역 추출부(62), 평균 뎁쓰 계산부(64), 뎁쓰 맵 조정부(65), 좌/우안 영상 생성부(66) 등을 포함한다.
2D-3D 영상 변환부(60)는 미리 설정된 2D-3D 영상 변환 알고리즘을 이용하여 2D 입력 영상을 3D 영상으로 변환한다. 2D-3D 영상 변환 알고리즘은 공지된 알고리즘으로 적용될 수 있다. 2D-3D 영상 변환 알고리즘은 본원 출원인에 의해 기 출원된 대한민국 특허출원 10-2010-0101767(2010-10-19)에 개시된 알고리즘으로 적용될 수 있다. 2D-3D 영상 변환부(60)로부터 출력된 3D 영상은 좌안 영상과 우안 영상이 분할된 포맷, 또는 기준 영상과 뎁쓰 맵을 포함한 포맷일 수 있다.
기준 영상 및 뎁쓰 맵 분리부(61)는 2D-3D 영상 변환부(60)로부터 3D 영상을 입력 받아, 그 3D 입력 영상으로부터 기준 영상과 뎁쓰 맵(DM)을 분리한다. 기준 영상은 좌안 영상 또는 우안 영상으로 선택될 수 있다. 뎁쓰 맵(DM)은 좌안 영상과 우안 영상의 픽셀간 비교 분석을 통해 추출될 수 있다. 관심 영역 추출부(62)는 기준 영상 및 뎁쓰 맵 분리부(51)로부터 입력된 기준 영상 데이터를 분석하여 관심 영역(ROI)을 추출한다.
평균 뎁쓰 계산부(64)는 관심 영역 추출부(62)로부터 입력된 관심 영역(ROI)의 이미지와, 기준 영상 및 뎁쓰 맵 분리부(61)로부터 입력된 뎁쓰 맵(DM)을 맵핑한다. 그리고 평균 뎁쓰 계산부(64)는 관심 영역(ROI)의 뎁쓰 맵을 추출하고 그 관심 영역(ROI)의 뎁쓰 맵으로부터 평균 뎁쓰(AD(ROI))를 계산한다.
뎁쓰 맵 조정부(65)는 평균 뎁쓰 계산부(64)로부터 입력된 관심 영역(ROI)의 평균 뎁쓰(AD(ROI))를 '0'으로 변환한다. 관심 영역(ROI)의 평균 뎁쓰(AD(ROI))가 '0'으로 변환되면, 관심 영역(ROI)의 뎁쓰값들 대부분이 화면 상에 또는 그 화면에 근접하여 관심 영역(ROI)에서 좌안 영상과 우안 영상 간의 양안 시차가 거의 없게 된다. 뎁쓰 맵 조정부(65)는 3D 영상에서 좌안 영상과 우안 영상 간의 양안 시차가 유지되어 시청자가 3D 영상의 입체감을 그대로 느낄 수 있도록 "관심 영역(ROI)의 평균 뎁쓰(AD(ROI)) = 0"을 기준으로 3D 입력 영상의 뎁쓰값들을 시프트하여 뎁쓰 맵을 조정한다.
좌/우안 영상 생성부(66)는 뎁쓰 맵 조정부(65)에 의해 조정된 뎁쓰 맵(DM')과 기준 영상 데이터를 맵핑하여 그 뎁쓰 맵(DM')에 의해 정의된 양안 시차를 갖는 좌안 영상 데이터(L)와 우안 영상 데이터(R)를 생성한다.
도 8a는 관심 영역의 허상이 화면의 앞에 위치하는 3D 입력 영상의 일 예를 보여 주는 도면이다. 도 8b는 도 8a와 같은 3D 입력 영상에서 관심 영역의 평균 뎁쓰(AD(ROI))를 화면 위치(Depth = 0)으로 변환하고 3D 입력 영상의 뎁쓰 맵을 평균 뎁쓰(AD(ROI))의 시프트 방향과 같은 방향으로 시프트한 예를 보여 주는 도면이다. 도 8a 및 도 8b에 있어서, x축은 화면(screen)으로부터 허상의 거리이고, y축은 3D 입력 영상의 뎁쓰 값이다. 화면의 뎁쓰는 0 이다(도 1c 참조). x축에서 + 쪽으로 갈수록 3D 입력 영상의 허상이 화면의 앞에 위치하고(도 1a 참조), x축에서 - 쪽으로 갈수록 3D 입력 영상의 허상이 화면의 뒤에 위치한다(도 1b 참조). 도 8a 및 도 8b에서 있어서 빗금친 부분을 관심 영역(ROI)의 뎁쓰 값 분포로 가정한다.
도 8a와 같이 관심 영역(ROI)의 허상이 화면(Depth = 0)의 앞에 위치하면, 시청자 눈의 수렴과 조절 간의 불일치가 심해져 시청자의 피로도가 커지고 시청자가 3D 크로스토크를 느낄 수 있다. 본 발명의 입체 영상 조절 회로 및 방법은 3D 입력 영상에서 관심 영역(ROI)을 추출하고 그 관심 영역(ROI)의 평균 뎁쓰(AD(ROI))를 0 즉, 표시패널의 화면으로 시프트시킨다. 그리고 본 발명의 입체 영상 조절 회로 및 방법은 3D 입력 영상의 입체감이 그대로 유지될 수 있도록 도 8b와 같이 3D 입력 영상의 뎁쓰 값들을 관심 영역(ROI)의 평균 뎁쓰(AD(ROI))가 시프트된 만큼 평균 뎁쓰(AD(ROI))의 시프트 방향으로 시프트시킨다.
본 발명의 입체 영상 조절 회로 및 방법은 도 8a 및 도 8b와 같은 방법으로 3D 입력 영상의 뎁쓰 맵을 조정하고 또한, 도 9a와 같이 관심 영역(ROI)의 허상이 화면의 뒤에 위치하는 경우에 도 9b와 같은 방법으로 3D 입력 영상의 뎁쓰 맵을 조정할 수 있다.
도 9a는 관심 영역의 허상이 화면의 뒤에 위치하는 3D 입력 영상의 일 예를 보여 주는 도면이다. 도 9b는 도 9a와 같은 3D 입력 영상에서 관심 영역의 평균 뎁쓰(AD(ROI))를 화면 위치(Depth = 0)로 변환하고 3D 입력 영상의 뎁쓰 맵을 평균 뎁쓰(AD(ROI))의 시프트 방향과 같은 방향으로 시프트한 예를 보여 주는 도면이다. 도 9a 및 도 9b에 있어서, x축은 화면(screen)으로부터 허상의 거리이고, y축은 3D 입력 영상의 뎁쓰 값이다. 도 9a 및 도 9b에서 있어서 빗금친 부분을 관심 영역(ROI)의 뎁쓰 값 분포로 가정한다.
도 9a와 같이 관심 영역(ROI)의 허상이 화면(Depth = 0)의 뒤에 위치할 때, 시청자 눈의 수렴과 조절 간의 불일치가 발생하여 시청자의 피로도를 유발하고 시청자가 3D 크로스토크를 느낄 수 있다. 본 발명의 입체 영상 조절 회로 및 방법은 3D 입력 영상에서 관심 영역(ROI)을 추출하고 그 관심 영역(ROI)의 평균 뎁쓰(AD(ROI))를 0 즉, 화면으로 시프트시킨다. 그리고 본 발명의 입체 영상 조절 회로 및 방법은 3D 입력 영상의 입체감이 그대로 유지될 수 있도록 도 9b와 같이 3D 입력 영상의 뎁쓰 값들을 관심 영역(ROI)의 평균 뎁쓰(AD(ROI))가 시프트된 만큼 평균 뎁쓰(AD(ROI))의 시프트 방향으로 시프트시킨다.
본 발명의 입체 영상 조절 회로 및 방법은 도 8a 내지 도 9b와 같은 방법으로 3D 입력 영상의 뎁쓰 맵을 조정한다. 그 결과, 본 발명의 입체 영상 조절 회로 및 방법은 3D 입력 영상에서 관심 영역(ROI)에서 양안 시차가 크지 않기 때문에 시청자가 인지하는 3D 크로스토크를 경감할 수 있을 뿐 아니라, 관심 영역(ROI)이 화면 상에 위치하므로 시청자 눈의 수렴과 조절 불일치에 따른 시청자의 피로도를 최소화할 수 있다.
도 10은 본 발명의 실험 결과를 보여 주는 이미지들이다.
도 10을 참조하면, 좌측 이미지는 실험에서 사용된 3D 원 영상이다. 3D 원 영상의 이미지에서 관심 영역(ROI)의 여성 상반신 이미지는 좌안 영상과 우안 영상의 양안 시차가 크고 그 허상이 화면 앞(+)에 위치한다. 3D 원 영상에서, 관심 영역(ROI)의 좌안 영상과 우안 영상의 거리 차이로 인하여 시청자는 관심 영역(ROI)에서 3D 크로스토크를 느낄 수 있다.
가운데 위쪽 이미지는 3D 원 영상 즉, 기준 영상에서 관심 영역(ROI)을 추출한 이미지이다. 가운데 아래쪽 이미지는 3D 원 영상의 뎁쓰 맵을 이미지화한 도면다.
본 발명은 관심 영역(ROI)의 평균 뎁쓰를 0으로 변환하여 이를 기준으로 3D 원 영상의 뎁쓰 맵을 조정하여 우측 이미지와 같이 새로운 좌안 영상과 우안 영상 을 생성한다. 본 발명이 적용된 우측 이미지에서 알 수 있는 바와 같이, 관심 영역(ROI)에서 좌안 영상과 우안 영상 간의 양안 시차가 없기 때문에 시청자의 피로도를 줄일 수 있고 3D 크로스토크를 최소화할 수 있다.
본 발명의 입체 영상 표시장치는 안경방식이나 무안경 방식의 입체 영상 표시장치로 구현될 수 있다. 입체 영상 표시장치의 표시소자는 액정표시소자(Liquid Crystal Display, LCD), 전계 방출 표시소자(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 유기발광다이오드소자(Organic Light Emitting Diode, OLED)와 같은 전계발광소자(Electroluminescence Device, EL), 및 전기영동 표시소자(Electrophoresis Display, EPD) 등의 평판 표시소자 기반으로 구현될 수 있다.
도 11은 본 발명의 입체 영상 표시장치를 보여 주는 블록도이다.
도 11을 참조하면, 본 발명의 입체 영상 표시장치는 표시패널(100), 입체 영상 조절 회로(112), 타이밍 콘트롤러(101), 데이터 구동회로(102), 스캔 구동회로(104) 등을 구비한다.
표시패널(100)은 전술한 평판 표시소자의 표시패널로 구현될 수 있다. 표시패널(100)이 LCD 표시패널로 선택되는 경우에, 그 표시패널(100)에 빛을 조사하기 위한 백라이트 유닛(Backlight unit)이 필요하다. 표시패널(100)은 2D 모드에서 2D 영상 데이터를 표시하고 3D 모드에서 좌안 영상 데이터와 우안 영상 데이터를 시분할 혹은, 공간분할 방법으로 표시한다.
입체 영상 조절 회로(112)는 3D 입력 영상에서 관심 영역(ROI)을 추출하고 그 관심 영역(ROI)의 평균 뎁쓰(AD(ROI))를 표시패널(100)의 화면으로 시프트시키고 이를 기준으로 3D 입력 영상의 뎁쓰 맵을 조정한다. 그리고 입체 영상 조절 회로(112)는 조정된 뎁쓰 맵을 바탕으로 새로운 좌안 영상과 우안 영상 데이터를 생성하여 타이밍 콘트롤러(101)에 공급한다. 입체 영상 조절 회로(112)는 도 5 내지 도 7과 같이 구현될 수 있다.
타이밍 콘트롤러(101)는 입체 영상 조절 회로(112)를 통해 호스트 시스템(110)으로부터 입력된 2D 입력 영상, 또는 입체 영상 조절 회로(112)로부터 입력된 3D 영상의 디지털 비디오 데이터(RGB)를 데이터 구동회로(102)에 공급한다. 타이밍 콘트롤러(101)는 입체 영상 조절 회로(112)를 통해 호스트 시스템(110)으로부터 입력된 수직 동기신호, 수평 동기신호, 데이터 인에이블 신호, 도트 클럭 등의 타이밍신호를 입력받아 데이터 구동회로(102)와 스캔 구동회로(104)의 동작 타이밍을 제어하기 위한 제어신호들을 발생한다.
타이밍 콘트롤러(101)는 입체 영상 조절 회로(112)를 통해 호스트 시스템(110)으로부터 입력되는 모드신호(도시하지 않음) 또는, 입력 영상 신호에 코딩된 모드 식별 코드에 기초하여 데이터 구동회로(102), 스캔 구동회로(104) 또는 도시하지 않은 백라이트 구동회로의 2D 모드와 3D 모드 동작을 전환할 수 있다.
데이터 구동회로(102)와 스캔 구동회로(104)는 타이밍 콘트롤러(101)로부터 입력되는 2D/3D 영상의 디지털 비디오 데이터를 표시패널(100)에 표시하는 표시패널 구동회로이다.
데이터 구동회로(102)는 타이밍 콘트롤러(101)의 제어 하에 2D/3D 영상의 디지털 비디오 데이터를 래치한다. 데이터 구동회로(102)는 래치된 데이터를 아날로그 데이터 전압 또는 데이터 전류로 변환하여 데이터라인들로 출력한다. 표시패널(100)이 LCD 또는 EPD와 같이 극성이 반전되는 데이터전압이 공급되는 경우에, 데이터 구동회로(102)는 타이밍 콘트롤러(101)의 제어 하에 2D/3D 영상의 디지털 비디오 데이터를 아날로그 정극성 감마보상전압과 부극성 감마보상전압으로 변환하여 데이터라인들에 공급될 데이터전압의 극성을 반전시킨다.
스캔 구동회로(104)는 타이밍 콘트롤러(101)의 제어 하에 데이터라인들에 공급되는 데이터전압에 동기되는 스캔펄스를 스캔라인들에 순차적으로 공급한다.
호스트 시스템(110)은 도시하지 않은 외부 비디오 소스 기기 예를 들면, 셋톱박스(Set-top Box), DVD 플레이어(Player), 블루레이 플레이어(Blue-ray Player), 개인용 컴퓨터(PC), 홈 시어터 시스템(Home theater Syteme)에 접속된다. 또한, 호스트 시스템(110)는 스케일러(scaler)를 포함한 시스템 온 칩(System on Chip, 이하 "SoC"라 함)을 포함하여 외부 비디오 소스 기기로부터 입력된 2D/3D 입력 영상 데이터의 해상도를 표시패널(100)에 표시하기에 적합한 해상도로 변환한다.
호스트 시스템(110)은 도시하지 않은 사용자 입력장치를 통해 입력되는 사용자 데이터에 응답하여 2D 모드 동작과 3D 모드 동작을 전환한다. 사용자 입력장치는 키패드, 키보드, 마우스, 온 스크린 디스플레이(On Screen Display, OSD), 리모트 콘트롤러(Remote controller), 터치 스크린 등을 포함한다. 시청자는 사용자 입력장치를 통해 2D 모드와 3D 모드를 선택할 수 있고, 3D 모드에서 2D-3D 영상 변환을 선택할 수 있다.
호스트 시스템(110)은 입력 영상의 데이터에 인코딩된 2D/3D 식별 코드를 통해 2D 모드의 동작과 3D 모드의 동작을 전환할 수도 있다. 또한, 호스트 시스템(110)은 현재의 구동 모드가 2D 모드인지 아니면 3D 모드인지를 식별할 수 있는 모드 신호를 발생하여 입체 영상 조절 회로(112)와 타이밍 콘트롤러(101)로 전송할 수 있다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위 내에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명은 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.
11 : 좌/우안 영상 분리부 12, 52, 62 : 관심 영역 추출부
13 : 뎁쓰 맵 추출부 14, 54, 64 : 평균 뎁쓰 계산부
15, 55, 65 : 뎁쓰 맵 조정부 16, 56, 66 : 좌/우안 영상 생성부
51, 61 : 기준 영상 및 뎁쓰 맵 분리부 60 : 2D-3D 영상 변환부
101 : 타이밍 콘트롤러 102 : 데이터 구동회로
103 : 게이트 구동회로 110 : 호스트 시스템
112 : 입체 영상 조절 회로

Claims (5)

  1. 3D 입력 영상에서 관심 영역과 뎁쓰 맵을 추출하는 관심 영역 및 뎁쓰 맵 추출부;
    상기 관심 영역의 평균 뎁쓰를 계산하는 평균 뎁쓰 계산부;
    상기 관심 영역의 평균 뎁쓰를 표시패널의 화면 뎁쓰값으로 변환하고 상기 3D 입력 영상의 뎁쓰 값들을 상기 관심 영역의 평균 뎁쓰가 시프트된 만큼 상기 평균 뎁쓰의 시프트 방향과 같은 방향으로 시프트시켜 상기 3D 입력 영상의 뎁쓰 맵을 조정하는 뎁쓰 맵 조정부;
    상기 뎁쓰 맵 조정부에 의해 조정된 뎁쓰 맵을 바탕으로 좌안 영상 데이터와 우안 영상 데이터를 생성하는 좌/우안 영상 생성부; 및
    상기 좌/우안 영상 생성부로부터 입력된 좌안 영상 데이터와 우안 영상 데이터를 상기 표시패널에 표시하는 표시패널 구동부를 포함하는 것을 특징으로 하는 입체 영상 표시장치.
  2. 제 1 항에 있어서,
    2D 입력 영상을 상기 3D 입력 영상으로 변환하는 2D-3D 영상 변환부를 더 포함하는 것을 특징으로 하는 입체 영상 표시장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 표시패널은 액정표시소자(LCD), 전계 방출 표시소자(FED), 플라즈마 디스플레이 패널(PDP), 유기발광다이오드소자(OLED)를 포함한 전계발광소자(EL), 및 전기영동 표시소자(EPD) 중 어느 하나의 표시패널로 구현되는 것을 특징으로 하는 입체 영상 표시장치.
  4. 3D 입력 영상에서 관심 영역과 뎁쓰 맵을 추출하는 단계;
    상기 관심 영역의 평균 뎁쓰를 계산하는 단계;
    상기 관심 영역의 평균 뎁쓰를 표시패널의 화면 뎁쓰값으로 변환하고 상기 3D 입력 영상의 뎁쓰 값들을 상기 관심 영역의 평균 뎁쓰가 시프트된 만큼 상기 평균 뎁쓰의 시프트 방향과 같은 방향으로 시프트시켜 상기 3D 입력 영상의 뎁쓰 맵을 조정하는 단계;
    조정된 상기 뎁쓰 맵을 바탕으로 좌안 영상 데이터와 우안 영상 데이터를 생성하는 단계; 및
    상기 좌안 영상 데이터와 우안 영상 데이터를 상기 표시패널에 표시하는 단계를 포함하는 것을 특징으로 하는 입체 영상 표시장치의 입체 영상 조절 방법.
  5. 제 4 항에 있어서,
    2D 입력 영상을 상기 3D 입력 영상으로 변환하는 단계를 더 포함하는 것을 특징으로 하는 입체 영상 표시장치의 입체 영상 조절 방법.
KR1020110040005A 2011-04-28 2011-04-28 입체 영상 표시장치와 그 입체 영상 조절 방법 KR101777875B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020110040005A KR101777875B1 (ko) 2011-04-28 2011-04-28 입체 영상 표시장치와 그 입체 영상 조절 방법
CN201110399315.4A CN102761761B (zh) 2011-04-28 2011-12-05 立体图像显示器及其立体图像调整方法
US13/312,493 US8963913B2 (en) 2011-04-28 2011-12-06 Stereoscopic image display and method of adjusting stereoscopic image thereof
TW100146928A TWI511522B (zh) 2011-04-28 2011-12-16 立體影像顯示器及其立體影像之調整方法
DE102011057187.6A DE102011057187B4 (de) 2011-04-28 2011-12-30 Stereoskopische Bildanzeigevorrichtung und Verfahren zum Einstellen eines stereoskopischen Bildes derselben

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110040005A KR101777875B1 (ko) 2011-04-28 2011-04-28 입체 영상 표시장치와 그 입체 영상 조절 방법

Publications (2)

Publication Number Publication Date
KR20120122042A KR20120122042A (ko) 2012-11-07
KR101777875B1 true KR101777875B1 (ko) 2017-09-13

Family

ID=47007714

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110040005A KR101777875B1 (ko) 2011-04-28 2011-04-28 입체 영상 표시장치와 그 입체 영상 조절 방법

Country Status (5)

Country Link
US (1) US8963913B2 (ko)
KR (1) KR101777875B1 (ko)
CN (1) CN102761761B (ko)
DE (1) DE102011057187B4 (ko)
TW (1) TWI511522B (ko)

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9100642B2 (en) * 2011-09-15 2015-08-04 Broadcom Corporation Adjustable depth layers for three-dimensional images
JP2013090031A (ja) * 2011-10-14 2013-05-13 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP6167525B2 (ja) * 2012-03-21 2017-07-26 株式会社リコー 距離計測装置及び車両
KR101364860B1 (ko) * 2012-09-03 2014-02-20 강원대학교산학협력단 입체 영상의 입체감 향상을 위한 입체 영상 변환 방법 및 이를 기록한 기록매체
US9182817B2 (en) * 2013-03-12 2015-11-10 Intel Corporation Techniques for automated evaluation of 3D visual content
CN104125445B (zh) * 2013-04-25 2016-03-02 奇景光电股份有限公司 影像景深调整装置与影像景深调整方法
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
EP3032828A4 (en) * 2013-08-06 2016-12-14 Sony Interactive Entertainment Inc DEVICE FOR GENERATING THREE-DIMENSIONAL PICTURES, METHOD FOR GENERATING THREE-DIMENSIONAL PICTURES, PROGRAM AND INFORMATION MEMORY MEDIUM
US9760793B2 (en) * 2013-10-30 2017-09-12 Htc Corporation Apparatus and computer-implemented method for generating a three-dimensional scene and non-transitory tangible computer readable medium thereof
KR102192986B1 (ko) * 2014-05-23 2020-12-18 삼성전자주식회사 영상 디스플레이 장치 및 영상 디스플레이 방법
TWI566576B (zh) 2014-06-03 2017-01-11 宏碁股份有限公司 立體影像合成方法及裝置
KR101875669B1 (ko) * 2014-07-01 2018-08-02 엘지전자 주식회사 외부 장치를 이용한 방송 데이터 처리 방법 및 장치
KR101957243B1 (ko) 2014-07-09 2019-03-12 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법
CN105323573B (zh) 2014-07-16 2019-02-05 北京三星通信技术研究有限公司 三维图像显示装置和方法
EP3198473A1 (en) 2014-09-22 2017-08-02 THOMSON Licensing Use of depth perception as indicator of search, user interest or preference
CN104914575B (zh) * 2014-09-29 2017-11-14 北京蚁视科技有限公司 带有屈光度检测装置的微透镜阵列式近眼显示器
CN109314777B (zh) * 2016-06-30 2021-04-27 英特尔公司 用于虚拟现实深度重定位的方法和装置
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US11587304B2 (en) 2017-03-10 2023-02-21 Tusimple, Inc. System and method for occluding contour detection
US10067509B1 (en) 2017-03-10 2018-09-04 TuSimple System and method for occluding contour detection
US10671873B2 (en) 2017-03-10 2020-06-02 Tusimple, Inc. System and method for vehicle wheel detection
US9953236B1 (en) 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)
US10311312B2 (en) 2017-08-31 2019-06-04 TuSimple System and method for vehicle occlusion detection
US10710592B2 (en) 2017-04-07 2020-07-14 Tusimple, Inc. System and method for path planning of autonomous vehicles based on gradient
US10471963B2 (en) 2017-04-07 2019-11-12 TuSimple System and method for transitioning between an autonomous and manual driving mode based on detection of a drivers capacity to control a vehicle
US9952594B1 (en) 2017-04-07 2018-04-24 TuSimple System and method for traffic data collection using unmanned aerial vehicles (UAVs)
US10552691B2 (en) 2017-04-25 2020-02-04 TuSimple System and method for vehicle position and velocity estimation based on camera and lidar data
US10481044B2 (en) 2017-05-18 2019-11-19 TuSimple Perception simulation for improved autonomous vehicle control
US10558864B2 (en) 2017-05-18 2020-02-11 TuSimple System and method for image localization based on semantic segmentation
US10474790B2 (en) 2017-06-02 2019-11-12 TuSimple Large scale distributed simulation for realistic multiple-agent interactive environments
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
US10737695B2 (en) 2017-07-01 2020-08-11 Tusimple, Inc. System and method for adaptive cruise control for low speed following
US10303522B2 (en) 2017-07-01 2019-05-28 TuSimple System and method for distributed graphics processing unit (GPU) computation
US10308242B2 (en) 2017-07-01 2019-06-04 TuSimple System and method for using human driving patterns to detect and correct abnormal driving behaviors of autonomous vehicles
US10752246B2 (en) 2017-07-01 2020-08-25 Tusimple, Inc. System and method for adaptive cruise control with proximate vehicle detection
US10493988B2 (en) 2017-07-01 2019-12-03 TuSimple System and method for adaptive cruise control for defensive driving
CN107240007A (zh) * 2017-07-21 2017-10-10 陕西科技大学 一种与3d人体模型结合的ar三维虚拟试衣系统
US10360257B2 (en) 2017-08-08 2019-07-23 TuSimple System and method for image annotation
US11029693B2 (en) 2017-08-08 2021-06-08 Tusimple, Inc. Neural network based vehicle dynamics model
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10303956B2 (en) 2017-08-23 2019-05-28 TuSimple System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10678234B2 (en) 2017-08-24 2020-06-09 Tusimple, Inc. System and method for autonomous vehicle control to minimize energy cost
US10783381B2 (en) 2017-08-31 2020-09-22 Tusimple, Inc. System and method for vehicle occlusion detection
US10656644B2 (en) 2017-09-07 2020-05-19 Tusimple, Inc. System and method for using human driving patterns to manage speed control for autonomous vehicles
US10782694B2 (en) 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10782693B2 (en) 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
CN107767412A (zh) * 2017-09-11 2018-03-06 西安中兴新软件有限责任公司 一种图像处理方法及装置
US10552979B2 (en) 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
US10671083B2 (en) 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
US10733465B2 (en) 2017-09-20 2020-08-04 Tusimple, Inc. System and method for vehicle taillight state recognition
US10387736B2 (en) 2017-09-20 2019-08-20 TuSimple System and method for detecting taillight signals of a vehicle
US10768626B2 (en) 2017-09-30 2020-09-08 Tusimple, Inc. System and method for providing multiple agents for decision making, trajectory planning, and control for autonomous vehicles
US10962979B2 (en) 2017-09-30 2021-03-30 Tusimple, Inc. System and method for multitask processing for autonomous vehicle computation and control
US10970564B2 (en) 2017-09-30 2021-04-06 Tusimple, Inc. System and method for instance-level lane detection for autonomous vehicle control
US10410055B2 (en) 2017-10-05 2019-09-10 TuSimple System and method for aerial video traffic analysis
US10812589B2 (en) 2017-10-28 2020-10-20 Tusimple, Inc. Storage architecture for heterogeneous multimedia data
US10739775B2 (en) 2017-10-28 2020-08-11 Tusimple, Inc. System and method for real world autonomous vehicle trajectory simulation
US10666730B2 (en) 2017-10-28 2020-05-26 Tusimple, Inc. Storage architecture for heterogeneous multimedia data
US10528823B2 (en) 2017-11-27 2020-01-07 TuSimple System and method for large-scale lane marking detection using multimodal sensor data
US10657390B2 (en) 2017-11-27 2020-05-19 Tusimple, Inc. System and method for large-scale lane marking detection using multimodal sensor data
US10528851B2 (en) 2017-11-27 2020-01-07 TuSimple System and method for drivable road surface representation generation using multimodal sensor data
US10877476B2 (en) 2017-11-30 2020-12-29 Tusimple, Inc. Autonomous vehicle simulation system for analyzing motion planners
US10860018B2 (en) 2017-11-30 2020-12-08 Tusimple, Inc. System and method for generating simulated vehicles with configured behaviors for analyzing autonomous vehicle motion planners
EP3737595B1 (en) 2018-01-09 2023-12-27 TuSimple, Inc. Real-time remote control of vehicles with high redundancy
EP3738106A4 (en) 2018-01-11 2021-09-08 TuSimple, Inc. MONITORING SYSTEM FOR AUTONOMOUS VEHICLE OPERATION
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
US10685239B2 (en) 2018-03-18 2020-06-16 Tusimple, Inc. System and method for lateral vehicle detection
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
CN116129376A (zh) 2018-05-02 2023-05-16 北京图森未来科技有限公司 一种道路边缘检测方法和装置
US11104334B2 (en) 2018-05-31 2021-08-31 Tusimple, Inc. System and method for proximate vehicle intention prediction for autonomous vehicles
US10839234B2 (en) 2018-09-12 2020-11-17 Tusimple, Inc. System and method for three-dimensional (3D) object detection
CN112689586B (zh) 2018-09-13 2024-04-16 图森有限公司 远程安全驾驶方法和系统
US10796402B2 (en) 2018-10-19 2020-10-06 Tusimple, Inc. System and method for fisheye image processing
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
CN112188181B (zh) * 2019-07-02 2023-07-04 中强光电股份有限公司 图像显示设备、立体图像处理电路及其同步信号校正方法
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
USD953374S1 (en) * 2020-05-15 2022-05-31 Lg Electronics Inc. Display panel with animated graphical user interface
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
WO2023184526A1 (en) * 2022-04-02 2023-10-05 Covidien Lp System and method of real-time stereoscopic visualization based on monocular camera

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5861936A (en) * 1996-07-26 1999-01-19 Gillan Holdings Limited Regulating focus in accordance with relationship of features of a person's eyes
JP2004505394A (ja) * 2000-08-04 2004-02-19 ダイナミック　ディジタル　デプス　リサーチ　プロプライエタリー　リミテッド イメージ変換および符号化技術
US7239318B2 (en) * 2001-03-23 2007-07-03 Rise Kabushikikaisha Method and computer software program product for processing characters based on outline font
US7532753B2 (en) * 2003-09-29 2009-05-12 Lipsky Scott E Method and system for specifying color of a fill area
KR101185870B1 (ko) * 2005-10-12 2012-09-25 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
US7559653B2 (en) * 2005-12-14 2009-07-14 Eastman Kodak Company Stereoscopic display apparatus using LCD panel
WO2009157707A2 (en) * 2008-06-24 2009-12-30 Samsung Electronics Co,. Ltd. Image processing method and apparatus
KR101030797B1 (ko) 2009-03-10 2011-04-22 조문호 패킹스토퍼
CN101588445B (zh) * 2009-06-09 2011-01-19 宁波大学 一种基于深度的视频感兴趣区域提取方法
US8947422B2 (en) 2009-09-30 2015-02-03 Disney Enterprises, Inc. Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-D images into stereoscopic 3-D images
KR101699920B1 (ko) * 2009-10-07 2017-01-25 삼성전자주식회사 깊이 조절 방법 및 장치
KR101780813B1 (ko) 2010-10-19 2017-09-21 엘지디스플레이 주식회사 2ｄ-3ｄ 영상 변환 방법 및 이를 이용한 입체 영상 표시장치
US8628193B2 (en) * 2010-11-20 2014-01-14 Yibin TIAN Automatic accommodative spectacles using a scene analyzer and focusing elements

Also Published As

Publication number Publication date
US20120274629A1 (en) 2012-11-01
US8963913B2 (en) 2015-02-24
TWI511522B (zh) 2015-12-01
DE102011057187B4 (de) 2022-03-24
KR20120122042A (ko) 2012-11-07
CN102761761A (zh) 2012-10-31
TW201244458A (en) 2012-11-01
DE102011057187A1 (de) 2012-10-31
CN102761761B (zh) 2015-07-29

Similar Documents

Publication Publication Date Title
KR101777875B1 (ko) 입체 영상 표시장치와 그 입체 영상 조절 방법
KR102197382B1 (ko) 곡률 가변형 입체영상표시장치
KR101380517B1 (ko) 멀티 뷰 무안경 입체 영상 표시장치와 그 최적 시청 거리 제어 방법
US9319674B2 (en) Three-dimensional image display device and driving method thereof
KR101869872B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
TW201405483A (zh) 影像資料處理方法以及使用該方法的立體影像顯示裝置
JP2011035712A (ja) 画像処理装置、画像処理方法及び立体画像表示装置
US10694173B2 (en) Multiview image display apparatus and control method thereof
TWI432013B (zh) 立體影像顯示方法及影像時序控制器
US9167237B2 (en) Method and apparatus for providing 3-dimensional image
KR101780813B1 (ko) 2ｄ-3ｄ 영상 변환 방법 및 이를 이용한 입체 영상 표시장치
KR101731113B1 (ko) 2ｄ-3ｄ 영상 변환 방법 및 이를 이용한 입체 영상 표시장치
KR102279816B1 (ko) 무안경 입체영상표시장치
EP2752815A1 (en) Display method and display apparatus
TWI449956B (zh) 主動式偏光三維顯示裝置
KR102334031B1 (ko) 무안경 입체영상표시장치 및 그 구동방법
KR102293837B1 (ko) 입체영상표시장치 및 이의 동작방법
KR102022527B1 (ko) 입체영상 표시장치 및 그의 디스패러티 산출방법
KR101922086B1 (ko) 입체영상 디스플레이장치 및 그 구동 방법
KR102232462B1 (ko) 무안경 입체영상표시장치
KR102135914B1 (ko) 영상 데이터 처리 방법과 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치
KR102143944B1 (ko) 입체감 조절 방법과 이를 이용한 입체 영상 표시장치
KR20150017199A (ko) 디스플레이 장치 및 제어 방법
KR20120068256A (ko) 시청자의 양안 위치를 추적하여 디스플레이하는 맞춤형 무안경 2디/3디변환 디스플레이
KR20180083831A (ko) 입체영상 디스플레이장치 및 그 구동 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant