KR20180078431A - 가상 현실 장치와 그 구동 방법 - Google Patents

Abstract

본 발명은 가상 현실 장치와 그 구동 방법에 관한 것으로, 사용자가 정지 상태일 때 미리 설정된 관심 영역의 보간 프레임 데이터를 생성하고, 상기 사용자가 움직일 때 상기 사용자 움직임을 반영하여 상기 관심 영역을 실시간 가변하며, 상기 실시간 가변된 관심 영역의 보간 프레임 데이터를 생성한다. 이 가상 현실 장치는 상기 사용자가 정지 상태일 때 상기 미리 설정된 관심 영역의 보간 프레임 데이터와 현재 프레임 데이터의 비관심 영역 데이터를 조합하여 제1 및 제2 화면들 각각에서 화면 전체의 보간 프레임 데이터를 출력하고, 상기 사용자가 움직일 때 실시간 가변하는 관심 영역의 보간 프레임 데이터와 상기 현재 프레임 데이터의 비관심 영역 데이터를 조합하여 제1 및 제2 화면들 각각에서 화면 전체의 보간 프레임 데이터를 출력한다.

Description

가상 현실 장치와 그 구동 방법{VIRTUAL REALITY DEVICE AND DRIVING METHOD THEREOF}

본 발명은 가상 현실을 구현하는 가상 현실 장치와 그 구동 방법에 관한 것이다.

가상 현실 기술은 국방, 건축, 관광, 영화, 멀티미디어, 게임 분야 등에 적용되고 있다. 가상 현실은 입체 영상 기술을 이용하여 실제 환경과 유사하게 느껴지는 특정한 환경, 상황을 의미한다.

가상 현실의 몰입감을 극대하기 위하여, 개인 몰입형 장치에 가상 현실 기술이 적용되고 있다. HMD(Head Mounted Display), FMD(Face Mounted Display), EGD(Eye Glasses-type Display) 등이 대표적인 개인 몰입형 장치이다.

개인 몰입형 장치는 불편한 외형 디자인과 입체 영상의 입체감, 몰입감, 피로도 등에서 기대 만큼 성능이 개선되지 않고 있다. 최근에는 스마트폰(smart phone)의 표시장치에서 가상 현실을 구현하기 위하여 입체 영상을 표시하고, 그 스마트폰을 사용자가 착용한 HMD 기구에 착용하는 가상 현실 기기가 시판되고 있다.

가상 현실 장치는 사용자의 눈과 디스플레이 소자의 화면이 가깝고 어안 렌즈를 이용하여 시야각이 넓다. 가상 현실 장치에서 사용자의 움직임에 따라 화면이 이동될 때 화면 끌림, 저더(judder) 현상 등이 보일 수 있다.

본 발명은 화면이 움직일 때 사용자가 저더(judder)를 느끼지 않도록 한 가상 현실 장치와 그 구동 방법을 제공한다.

본 발명의 가상 현실 장치는 관심 영역과 비 관심 영역으로 나뉘어진 제1 및 제2 화면, 사용자의 움직임을 감지하는 센서 모듈, 상기 사용자가 정지 상태일 때 미리 설정된 관심 영역의 보간 프레임 데이터를 생성하는 제1 프레임 레이트 변환부, 상기 사용자가 움직일 때 상기 사용자 움직임을 반영하여 상기 관심 영역을 실시간 가변하는 관심 영역 결정부, 상기 관심 영역 결정부에 의해 가변된 관심 영역의 보간 프레임 데이터를 생성하는 제2 프레임 레이트 변환부, 상기 제1 프레임 레이트 변환부 또는 상기 제2 프레임 레이트 변환부로부터 수신된 관심 영역의 보간 프레임 데이터와 상기 현재 프레임 데이터의 비관심 영역 데이터를 조합하여 화면 전체의 보간 프레임 데이터를 출력하는 데이터 합성부, 및 상기 데이터 합성부로부터 출력된 데이터를 상기 제1 및 제2 화면의 픽셀들에 기입하는 디스플레이 구동부를 구비한다.

상기 제1 프레임 레이트 변환부는 입력 영상의 객체 움직임을 바탕으로 제1 모션 벡터를 산출하고, 상기 모션 벡터를 이용하여 상기 관심 영역의 보간 프레임 데이터를 생성한다.

상기 제1 프레임 레이트 변환부는 상기 사용자가 움직일 때 대기 상태로 전환된다.

상기 제2 프레임 레이트 변환부는 상기 사용자의 움직임 방향과 속도를 반영한 제2 모션 벡터를 산출하고, 상기 제2 모션 벡터를 이용하여 상기 관심 영역의 보간 프레임 데이터를 생성한다.

상기 제2 프레임 레이트 변환부는 상기 사용자가 정지 상태일 때 대기 상태로 전환된다.

상기 제1 및 제2 화면에 표시되는 영상 데이터는 상기 사용자의 움직임 방향에 대하여 반대 방향으로 이동된다. 상기 관심 영역 결정부에 의해 가변되는 상기 관심 영역은 상기 사용자의 움직임 방향과 같은 방향으로 이동된다. 상기 제2 모션 벡터는 상기 사용자의 움직임 방향과 반대 방향을 향한다.

본 발명의 가상 현실 장치는 관심 영역과 비 관심 영역으로 나뉘어진 제1 및 제2 화면, 사용자의 움직임을 감지하는 사용자 움직임 감지부, 입력 영상의 현재 프레임 데이터에서 미리 설정된 관심 영역 내의 데이터를 추출하는 제1 관심 영역 추출부, 상기 사용자 움직임 감지부의 출력 신호에 응답하여 상기 사용자가 정지 상태일 때 상기 제1 관심 영역 추출부로부터 수신된 데이터를 이용하여 보간 프레임의 관심 영역 데이터를 생성하는 제1 프레임 레이트 변환부, 상기 사용자 움직임 감지부의 출력 신호에 응답하여 상기 사용자가 움직일 때 상기 사용자 움직임을 추종하는 관심 영역을 결정하는 관심 영역 결정부, 상기 관심 영역 결정부에 의해 결정된 관심 영역 내의 데이터를 추출하는 제2 관심 영역 추출부, 상기 사용자 움직임 감지부의 출력 신호에 응답하여 상기 사용자가 움직일 때 상기 제2 관심 영역 추출부로부터 수신된 데이터를 이용하여 보간 프레임의 관심 영역 데이터를 생성하는 제2 프레임 레이트 변환부, 상기 제1 프레임 레이트 변환부 또는 상기 제2 프레임 레이트 변환부로부터 수신된 관심 영역의 보간 프레임 데이터와 상기 현재 프레임 데이터의 비관심 영역의 데이터를 조합하여 보간 프레임 데이터를 출력하는 데이터 합성부, 및 상기 데이터 합성부로부터 출력된 데이터를 상기 제1 및 제2 화면의 픽셀들에 기입하는 디스플레이 구동부를 구비한다.

상기 가상 현실 장치의 구동 방법은 사용자의 움직임을 감지하는 단계, 상기 사용자가 정지 상태일 때 미리 설정된 관심 영역의 보간 프레임 데이터를 생성하는 단계, 상기 사용자가 움직일 때 상기 사용자 움직임을 반영하여 상기 관심 영역을 실시간 가변하는 단계, 상기 실시간 가변된 관심 영역의 보간 프레임 데이터를 생성하는 단계, 상기 사용자가 정지 상태일 때 상기 미리 설정된 관심 영역의 보간 프레임 데이터와 현재 프레임 데이터의 비관심 영역 데이터를 조합하여 제1 및 제2 화면들 각각에서 화면 전체의 보간 프레임 데이터를 출력하는 단계, 상기 사용자가 움직일 때 실시간 가변하는 관심 영역의 보간 프레임 데이터와 상기 현재 프레임 데이터의 비관심 영역 데이터를 조합하여 제1 및 제2 화면들 각각에서 화면 전체의 보간 프레임 데이터를 출력하는 단계, 및 상기 화면 전체의 보간 프레임 데이터를 상기 제1 및 제2 화면의 픽셀들에 기입하는 단계를 포함한다.

본 발명은 사용자 움직임에 따라 관심 영역(ROI 영역)을 가변하고 그 ROI 영역 내에서만 보간 프레임 데이터를 생성하여 프레임 레이트를 높임으로써 사용자가 화면 끌림, 모션 블러, 저더 등을 인지하지 않는 가상 현실 화면을 구현할 수 있다.

도 1은 본 발명의 실시예에 따른 가상 현실 장치를 보여 주는 분해 사시도이다.
도 2는 도 1에 도시된 가상 현실 장치에서 디스플레이 관련 회로를 보여 주는 블록도이다.
도 3 및 도 4는 MEMC 알고리즘을 이용한 프레임 레이트 업 컨버젼의 일 예를 보여 주는 도면들이다.
도 5는 도 2에 도시된 MEMC 처리부를 상세히 보여 주는 블록도이다.
도 6은 사용자의 움직임이 없을 때의 ROI 영역을 예시한 도면이다.
도 7 및 도 8은 사용자가 움직일 때의 ROI 영역을 예시한 도면들이다.
도 9는 시간 축 상에서 제1 및 제2 프레임 레이트 변환부의 구동 상태가 사용자 움직임에 따라 변화되는 예를 보여 주는 도면이다.
도 10은 사용자가 움직일 때 관심 영역(ROI)가 실시간 변하는 예를 보여 주는 도면이다.
도 11은 사용자 움직임과 제2 모션 벡터를 보여 주는 도면이다.
도 12는 영상의 객체 이동 방향과 제2 모션 벡터의 방향이 반대 방향일 때 역방향 저더가 발생되는 예를 보여 주는 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 ' ~ 만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.

구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.

위치 관계에 대한 설명일 경우, 예를 들어, ' ~ 상에', ' ~ 상부에', ' ~ 하부에', ' ~ 옆에' 등으로 두 부분의 위치 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다.

제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용될 수 있으나, 이 구성요소들은 이들 용어에 의해 제한되지 않는다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.

도 1은 HMD(head　mounted display) 구조의 개인 몰입형 장치의 일 예를 보여 주지만, 본 발명의 개인 몰입형 장치의 구조는 다양한 변형이 가능하므로 이에 한정되지 않는다. 도 2는 도 1에 도시된 가상 현실 장치에서 디스플레이 관련 회로를 보여 주는 블록도이다.

도 1 및 도 2를 참조하면, 본 발명의 개인 몰입형 장치는 렌즈 모듈(12), 디스플레이 모듈(13), 메인 보드(14), 헤드 기어(11), 사이드 프레임(side frame)(15), 프론트 커버(front cover)(16) 등을 포함한다.

디스플레이 모듈(13)은 두 개의 화면들을 구동하기 위한 디스플레이 구동부(22)를 포함하여 메인 보드(14)로부터 수신된 입력 영상을 표시한다. 두 개의 화면은 하나의 표시소자(20) 상에서 구현되거나 두 개의 표시소자(20)로 구현될 수 있다. 제1 화면은 사용자의 좌안으로 보이는 영상을 표시하고, 제2 화면은 사용자의 우안으로 보이는 영상을 표시한다. 도 6 내지 도 8에서, 도면 부호 “20L”은 제1 화면이고, “20R”은 제2 화면을 나타낸다. 디스플레이 모듈(13)은 메인 보드(14)로부터 입력되는 영상 데이터를 표시패널의 화면들에 표시한다. 화면들 상에 표시되는 영상은 사용자의 움직임에 따라 이동한다. 예컨대, 사용자의 움직임 방향에 대하여 반대로 영상이 이동된다. 화면들 상에 표시되는 영상 데이터는 가상 현실(Virtual　Reality. VR)의 비디오 이미지를 구현하는 2D/3D 영상 데이터일 수 있다. 디스플레이 모듈(13)은 메인 보드로부터 입력되는 각종 정보를 텍스트, 기호 등의 형태로 표시할 수 있다.

표시소자(20)는 액정표시장치(Liquid Crystal Display, LCD), 유기발광 다이오드 표시장치(Organic Light Emitting Display, OLED Display) 등의 평판 표시장치의 표시패널로 구현될 수 있다. 표시패널은 데이터 전압이 인가되는 데이터 라인들, 게이트 펄스(또는 스캔 펄스)가 인가되는 게이트 라인들(또는 스캔 라인들), 및 데이터 라인들과 게이트 라인들의 직교 구조에 의해 매트릭스 형태로 배열되어 데이터 라인들과 게이트 라인들에 전기적으로 연결된 픽셀들을 포함한다. 픽셀들 각각은 컬러 구현을 위하여 적색 서브 픽셀, 녹색 서브 픽셀 및 청색 서브 픽셀로 나뉘어진다. 픽셀들 각각은 백색 서브 픽셀을 더 포함할 수 있다. 서브 픽셀들 각각은 하나 이상의 TFT(Thin Film Transistor)를 포함할 수 있다.

디스플레이 구동부(22)는 표시소자(20)를 구동하여 메인 보드(14)의 MEMC(Motion Estimation Motion Compensation) 처리부(24)로부터 수신된 영상 데이터를 표시소자의 픽셀들에 기입한다. 디스플레이 구동부(22)는 데이터 구동부, 게이트 구동부, 및 타이밍 콘트롤러(timing controller) 등을 구비한다. 데이터 구동부는 입력 영상의 데이터를 감마보상전압으로 변환하여 데이터전압을 발생하고, 그 데이터 전압을 데이터 라인들로 출력한다. 게이트 구동부는 데이터 전압에 동기되는 게이트 펄스를 게이트 라인들에 순차적으로 출력한다. 타이밍 콘트롤러는 MEMC 처리부(24)로부터 수신된 입력 영상의 데이터를 데이터 구동부로 전송한다. 타이밍 콘트롤러는 입력 영상 데이터와 동기되도록 데이터 구동부와 게이트 구동부의 구동 타이밍을 제어한다.

렌즈 모듈(12)은 사용자의 좌우안 화각을 넓히기 위한 초광각 렌즈 즉, 한 쌍의 어안 렌즈(Fisheye Lens)를 포함한다. 한 쌍의 어안 렌즈는 제1 화면 앞에 배치된 좌안 렌즈와, 제2 화면 앞에 배치된 우안 렌즈를 포함한다.

헤드 기어(11)는 어안 렌즈들을 노출하는 백 커버(back cover), 백 커버에 연결된 밴드(band)를 포함한다. 헤드 기어(11)의 백 커버, 사이드 프레임(15) 및 프론트 커버(16)는 조립되어 개인 몰입형 장치의 구성 요소들이 배치되는 내부 공간을 확보하고 그 구성 요소들을 보호한다. 구성 요소들은 렌즈 모듈(12), 디스플레이 모듈(13), 및 메인 보드(14)을 포함한다. 밴드는 백 커버에 연결된다. 사용자는 밴드로 자신의 머리에 개인 몰입형 장치를 착용한다. 사용자가 개인 몰입형 장치를 자신의 머리에 쓰면, 어안 렌즈들을 통해 좌안과 우안으로 서로 다른 표시패널을 바라 보게 된다.

사이드 프레임(15)은 헤드 기어(11)와 프론트 커버(16) 사이에 고정되어 렌즈 모듈(12), 디스플레이 모듈(13), 메인 보드(14)가 배치된 내부 공간의 갭(gap)을 확보한다. 프론트 커버(16)는 개인 몰입형 장치의 전면에 배치된다.

메인 보드(14)는 가상 현실 소프트웨어를 실행하고 좌안 영상과 우안 영상을 디스플레이 모듈(13)에 공급하는 이미지 프로세서를 포함한다. 메인 보드(14)는 외부 기기와 연결되는 인터페이스 모듈, 센서 모듈(26) 등을 더 포함한다. 인터페이스 모듈은 Universal serial bus(USB), High definition　multimedia interface (HDMI) 등의 인터페이스를 통해 외부 기기와 연결된다. 센서 모듈(26)은 자이로 센서, 3축 가속도 센서 등 다양한 센서를 포함한다.

메인 보드(14)는 도시하지 않은 인터페이스 모듈을 통해 외부로부터 입력 영상 데이터를 수신할 수 있다. 메인 보드(14)의 이미지 프로세서는 센서 모듈(26)의 출력 신호에 응답하여 좌안 및 우안 영상 데이터를 보정함으로써 사용자 머리의 움직임에 따라 화면들에 표시되는 영상을 이동시킨다. 입력 영상의 프레임 데이터는 이미지 프로세서에 의해 사용자의 머리 이동 방향과 반대 방향으로 움직인다. 이미지 프로세서는 2D 영상의 뎁쓰(depth) 정보 분석 결과를 바탕으로 표시패널의 해상도에 맞는 좌안 영상과 우안 영상을 생성하여 디스플레이 모듈(13)로 전송할 수 있다.

메인 보드(14)의 이미지 프로세서는 MEMC(Motion Estimation Motion Compensation) 처리부(24)를 포함한다. MEMC 처리부(24)는 센서 모듈(26)의 출력 신호를 분석하여 사용자 머리나 몸의 움직임(이하, “사용자 움직임”이라 함)을 판단할 수 있다. MEMC 처리부(24)는 사용자 머리의 움직임에 연동하여 화면 상의 영상이 이동할 때 저더(judder)를 방지하기 위하여 MEMC 알고리즘을 실행하여 프레임 레이트(frame rate)를 높인다. MEMC 알고리즘은 원본 영상의 프레임 데이터들을 비교 분석하여 모션 벡터를 추출하고 그 모션 벡터를 바탕으로 원본 영상의 프레임 데이터들 사이에 삽입될 새로운 보간 프레임 데이터를 생성한다. 입력 영상 데이터의 프레임 레이트를 높이면 화면 상에 표시되는 객체의 움직임을 반영한 새로운 보간 프레임 데이터가 추가되기 때문에 저더를 방지할 수 있다.

일반적인 MEMC 알고리즘은 사용자 움직임과 무관하고 입력 영상의 객체 움직임에 종속적인 화면 전체의 영상 데이터를 대상으로 연산하기 때문에 데이터 연산 처리에 필요한 대기 시간(Latency)을 초래하여 사용자의 움직임과 그에 따른 영상의 반응 속도를 낮춘다. 그 결과, 일반적인 MEMC 알고리즘이 적용되면, 데이터 연산 처리 시간이 적지 않기 때문에 프레임 레이트를 높이더라도 화면 끌림이나 모션 블러(Motion blur)가 인지될 수 있다. 입체 영상으로 재현된 가상 현실 이미지에서 화면 끌림이나 모션 블러는 영상 품질을 떨어뜨릴 뿐 아니라 사용자의 피로감을 증가시킨다.

MEMC 처리부(24)는 사용자 움직임을 반영한 MEMC 알고리즘을 이용하여 화면 내의 국부 영역으로 관심 영역(Region Of Interest, 이하 “ROI 영역”이라 함)를 선정하여 ROI 영역 내에서만 보간 프레임 데이터를 생성함으로써 MEME 알고리점의 데이터 연산 시간을 줄여 사용자 움직임에 따른 영상의 반응 속도를 높인다. 비 ROI 영역(이하, “Non-ROI 영역”)의 데이터는 원본 영상의 현재 프레임 데이터에서 Non-ROI 영역의 데이터로 복사된다. 따라서, 본 발명은 사용자 움직임에 따라 ROI 영역을 가변하고 그 ROI 영역 내에서만 보간 프레임 데이터를 생성함으로써 사용자가 화면 끌림과 같은 저더나 모션 블러를 인지할 수 없는 가상 현실 화면을 구현할 수 있다.

도 3 및 도 4는 MEMC 알고리즘을 이용한 프레임 레이트 업 컨버젼의 일 예를 보여 주는 도면들이다.

도 3 및 도 4를 참조하면, 프레임 레이트 업 컨버젼(Frame rate up conversion)은 크게 모션 판단(Motion estimation, ME)과 모션 보상 보간(motion compensated interpolation, MCI)으로 나누어질 수 있다. 모션 판단(ME)은 연속되는 프레임 데이터들 사이에 객체의 움직임(motion)을 계산하여 움직임의 변화에 해당되는 모션 벡터(motion vector, MV1)를 산출하는 과정이다. 모션 보상 보간(MCI)은 모션 판단(ME)을 통해서 얻은 모션 벡터(MV1)를 이용한 보간(interpolation) 방법으로 새로운 보간 프레임 데이터를 생성하는 과정이다.

모션 판단(ME)은 다양한 알고리즘이 알려져 있지만, 구현의 편리성 때문에 도 3과 같이 블럭 매칭 알고리즘(Block matching algorithm, BMA)이 많이 사용되고 있다.

블럭 매칭 알고리즘(BMA)은 도 3에 도시된 바와 같이 현재 프레임 데이터(Fn)를 M×N(M 및 N은 양의 정수, 일반적으로 M=N) 사이즈 블록(size block)으로 나누고, 각 블록마다 이전 프레임 데이터(Fn-1)에서 소정 크기의 탐색 범위(Search Range, SR) 안에 있는 블록들과 비교하여 가장 유사도가 높은 블록을 가리키는 모션 벡터(MV)를 찾는다. 도 3에서, Bi,j는 현재 프레임 데이터(Fn)에서 i 번째 행(row), j번째 열(column)에 존재하는 블럭이다. 탐색 범위(SR)는 현재 프레임 데이터(Fn)에 매칭된 블록 혹은, 픽셀들이 1 프레임 기간 동안 움직일 수 있는 최대 거리로 정의된다. 탐색 범위(SR)는 현재 프레임 데이터(Fn)에 존재하는 블록이 이전 프레임(Fn-1)에 존재할 수 있는 최대 거리로써 모션 판단과정에서 계산 및 하드웨어의 복잡도(Complexity) 문제를 고려하여 정해진다.

블럭 매칭 알고리즘(BMA)의 매칭기준(Matching Criterion)은 현재 프레임 데이터(Fn)의 블록(Bi,j)을 기준으로 하여 이전 프레임 데이터(Fn-1)의 블록을 한 픽셀씩 이동해 가며 유사도를 절대차 합(Sum of Absolute Difference, SAD)으로 구하고, 그 절대차 합(SAD)에 기초하여 모션 벡터(MV1)를 산출한다.

블럭 매칭 알고리즘(BMA)을 사용한 모션 보상 프레임 레이트 업 컨버젼은 미리 설정된 블록 단위로 현재 프레임 데이터(Fn)와 이전 프레임 데이터(Fn-1) 사이에서 객체의 움직임 방향 및 속도를 지시하는 모션 벡터(MV)를 계산한다.

양방향 모션 판단 방법(Bilateral ME, BME)은 도 4에 도시된 바와 같이 블럭 매칭 알고리즘(BMA)과는 달리 보간 프레임을 기준으로 하여 모션 벡터(MV1)를 직접 추정한다.

도 4에 도시된 바와 같이 블록 또는 픽셀이 1 프레임 기간 동안 일정한 속도로 움직인다고 가정하고, 보간 프레임 데이터(Fn-1/2)의 해당 블록(Bi,j)을 지나가는 블록을 찾는다고 할 때, 이전 프레임(Fn-1)과 현재 프레임 데이터(Fn)에서 서로 매칭되는 블록들은 해당 블록(Bi,j)을 기준으로 대칭이 된다. 양방향 모션 판단 방법(BME)은 보간 프레임 데이터(Fn-1/2)을 기준으로 하여 이전 프레임 데이터(Fn-1)와 현재 프레임 데이터(Fn)의 대칭성을 이용해서 모션 벡터(MV1)를 결정한다.

본 발명의 MEMC 알고리즘은 도 3 및 도 4에 한정되지 않는다. 예컨대, 본 발명은 공지된 MEMC 알고리즘을 이용하되 사용자 움직임을 고려하여 ROI 영역을 실기간으로 선택하여 사용자가 움직일 때 ROI 영역을 실시간 가변하고 그 ROI 영역 내에서만 프레임 레이트를 높인다. 또한, 본 발명의 알고리즘을 사용자 움직임과 반대 방향으로 모션 벡터(MV2)를 생성하여 사용자가 움직일 때 생성된 모션 벡터(MV2)를 이용하여 ROI 영역 내의 보간 프레임 데이터를 생성한다.

도 5는 MEMC 처리부(24)를 상세히 보여 주는 블록도이다. 도 6은 사용자 움직임이 없을 때의 ROI 영역(60)을 예시한 도면이다. 도 7 및 도 8은 사용자가 움직일 때의 ROI 영역(60)을 예시한 도면들이다.

도 5 내지 도 8를 참조하면, MEMC 처리부(24)는 제1 ROI 추출부(31), 제1 프레임 레이트 변환부(32), 사용자 움직임 감지부(33), ROI 결정부(34), 제2 ROI 추출부(35), 제2 프레임 레이트 변환부(36), 및 데이터 합성부(40)를 구비한다.

제1 ROI 추출부(31)는 입력 영상의 현재 프레임 데이터(Fn)를 수신하여 미리 설정된 ROI 영역 내의 픽셀 데이터를 추출하여 제1 프레임 레이트 변환부(32)로 전송한다. 제1 ROI 추출부(31)에서 설정된 ROI 영역(60)은 사용자가 움직이지 않을 때의 ROI 영역으로 지정된다.

사용자는 화면 중앙부에서 화면 변화를 민감하게 반응하는 반면 화면 가장자리의 변화에 둔감하다. 제1 ROI 추출부(31)의 ROI 영역(60)은 사용자가 화면 중앙부를 중심으로 보기 때문에 도 6에 도시된 바와 같이 제1 및 제2 화면들(20L, 20R) 각각에서 가장자리를 제외한 중앙부로 설정될 수 있다. 이 ROI 영역(60)은 전체 화면 대비 대략 50% 크기의 화면 중앙부로 지정될 수 있으나 이에 한정되지 않는다.

제1 프레임 레이트 변환부(32)는 사용자 움직임 감지부(33)로부터의 플래그(flag) 신호가 수신될 때 제1 ROI 추출부(31)로부터 입력된 ROI 영역(60) 내의 픽셀 데이터들에 대하여 MEMC 알고리즘을 실행한다. 플래그 신호는 그 논리값에 따라 사용자 움직임 여부를 지시할 수 있다. 예를 들어, 사용자가 정지 상태일 때 플래그 신호가 0(=low)으로 발생되고, 사용자가 움직이면 플래그 신호가 1(=high)로 발생될 수 있다. 제1 프레임 레이트 변환부(32)는 사용자 움직임이 없을 때 활성화되어 MEMC 알고리즘을 실행한다. 제1 프레임 레이트 변환부(32)는 사용자 움직임과 무관하게 ROI 영역(60) 내의 영상 데이터에서 객체 움직임 기반 모션 벡터(MV1, 이하 “제1 모션 벡터”라 함)를 계산하고 그 제1 모션 벡터(MV1)를 이용하여 이전 프레임 데이터(Fn-1)와 현재 프레임 데이터(Fn) 사이의 보간 프레임 데이터(Fn-1/2)의 ROI 영역 데이터를 생성하여 프레임 레이트를 높인다. 이전 프레임 데이터(Fn-1)와 현재 프레임 데이터(Fn)은 입력 영상에서 실제하는 프레임 데이터이고, 보간 프레임 데이터는 입력 영상의 프레임 데이터들 간의 비교를 통해 객체의 움직임 기반으로 계산된 제1 모션 벡터(MV1)를 이용하여 생성된 데이터이다. 제1 프레임 레이트 변환부(32)는 사용자 움직임 감지부(33)에 의해 사용자가 움직일 때 대기 모드로 전환되어 동작하지 않는다.

사용자 움직임 감지부(33)는 자이로 센서, 3축 가속도 센서, 자려계, IR 카메라 등의 센서를 이용하여 사용자의 움직임을 감지한다. 사용자가 움직이지 않으면, 사용자 움직인 감지부(33)는 제1 프레임 레이트 변환부(32)를 활성화하기 위한 플래그 신호를 발생한다. 반면에, 사용자 움직인 감지부(33)는 사용자가 움직이면 제1 프레임 레이트 변환부(32)를 대기 모드로 제어하고 사용자 움직임에 따른 움직임 방향 및 속도를 지시하는 정보를 ROI 결정부(34)로 전송한다.

입력 영상의 프레임 데이터는 사용자 움직임 방향과 반대 방향으로 이동한다. 사용자가 화면의 중심을 주로 보기 때문에 ROI 영역이 사용자의 움직임 방향을 따라 이동한다. ROI 결정부(34)는 사용자 움직임을 고려하여 ROI 영역을 재설정하여 사용자 움직임에 연동하여 ROI 영역을 실시간 가변한다. ROI 결정부(34)에 의해 결정된 ROI 영역(60)은 사용자 움직임을 추종한다. ROI 결정부(34)는 도 7 및 도 8에 도시된 바와 같이 사용자 움직임 방향과 같은 방향을 향하고, 사용자 움직임 속도로 ROI 영역(60)을 이동시킨다.

제2 ROI 추출부(34)는 입력 영상의 현재 프레임 데이터(Fn)를 수신하여 ROI 영역 결정부(34)에 의해 결정된 ROI 영역(60) 내의 픽셀 데이터를 추출하여 제2 프레임 레이트 변환부(36)로 전송한다.

제2 프레임 레이트 변환부(36)는 사용자 움직임 감지부(33)로부터의 플래그 신호가 수신될 때 제2 ROI 추출부(35)로부터 입력된 ROI 영역(60) 내의 픽셀 데이터들에 대하여 MEMC 알고리즘을 실행한다. 제2 프레임 레이트 변환부(36)는 사용자가 움직일 때 활성화되어 MEMC 알고리즘을 실행한다. 제2 프레임 레이트 변환부(36)는 ROI 영역(60) 내의 영상 데이터에서 제1 모션 벡터(MV1)를 계산하고 제1 모션 벡터(MV1)에 사용자 움직임 방향 및 속도를 반영하여 도 7 및 도 8과 같이 사용자 움직임을 따르는 사용자 움직임 기반 모션 벡터(MV2, 이하 “제2 모션 벡터”라 함)를 생성한다. 제2 모션 벡터(MV2)는 도 7 및 도 8에 도시된 바와 같이 사용자 움직임 방향에 대하여 반대 방향을 향하고 사용자 움직임 속도에 비례하는 크기를 갖는다. 그리고 제2 프레임 레이트 변환부(36)는 제2 모션 벡터(MV2)를 이용하여 이전 프레임 데이터(Fn-1)와 현재 프레임 데이터(Fn) 사이의 보간 프레임 데이터(Fn-1/2)의 ROI 영역 데이터를 생성하여 프레임 레이트를 높인다. 제2 프레임 레이트 변환부(36)는 사용자 움직임 감지부(33)에 의해 사용자가 정지 상태일 때 대기 모드로 전환되어 동작하지 않는다.

데이터 합성부(40)는 사용자 움직임 감지부(33)로부터의 플래그 신호에 따라 사용자 움직임 여부를 판단할 수 있다. 데이터 합성부(40)는 사용자 정지 상태일 때 제1 프레임 레이트 변환부(32)에 의해 생성된 ROI 영역 데이터와 현재 프레임 데이터(Fn)의 Non-ROI 영역 데이터를 한 프레임 데이터로 조합하여 제1 및 제2 화면(20L, 20R) 각각에서 화면 전체의 보간 프레임 데이터(Fn-1/2)를 생성한다. 데이터 합성부(40)는 이전 프레임 데이터(Fn-1), 보간 프레임 데이터(Fn-1/2), 그리고 현재 프레임 데이터(Fn) 순으로 영상 데이터를 출력한다. 데이터 합성부(40)로부터 출력된 영상 데이터는 디스플레이 구동부(22)로 전송된다.

도 9는 시간 축 상에서 제1 및 제2 프레임 레이트 변환부의 구동 상태가 사용자 움직임에 따라 변화되는 예를 보여 주는 도면이다. 도 5에서 “MEMC”는 사용자가 정지 상태일 때 활성화되는 제1 프레임 레이트 변환부(32)에 의해 실행되는 MEMC 알고리즘을 나타낸다. “M-MEMC”는 사용자 움직일 때 활성화되는 제2 프레임 레이트 변환부(36)에 의해 실행되는 MEMC 알고리즘을 나타낸다.

도 9를 참조하면, 사용자가 정지하고 있으면 제1 프레임 레이트 변환부(32)이 동작하여 입력 영상의 객체 움직임을 바탕으로 미리 설정된 ROI 영역의 보간 프레임 데이터가 생성된다. 이 때, 제2 프레임 레이트 변환부(32)는 동작하지 않고 대기 모드로 전환된다.

사용자가 움직이면, 제2 프레임 레이트 변환부(36)가 동작하여 입력 영상의 객체 움직임과 사용자 움직임을 바탕으로 실시간 가변되는 ROI 영역의 보간 프레임 데이터가 생성된다. 이 때, 제1 프레임 레이트 변환부(32)는 동작하지 않고 대기 모드로 전환된다.

도 10은 사용자가 움직일 때 관심 영역(ROI)가 실시간 변하는 예를 보여 주는 도면이다. 본 발명은 사용자가 움직일 때 사용자 움직임 방향과 그 움직임 속도를 따라 ROI 영역이 실시간 변할 수 있다.

본 발명은 ROI 영역과 Non-ROI 영역으로 나뉘어진 화면 내에서 ROI 영역 내에서만 MEMC 알고리즘을 실행하여 보간 프레임 데이터를 생성한다. 그 결과, 본 발명은 MEMC 알고리즘의 데이터 연산에 따른 대기 시간(latency)를 최소화하고 프레임 레이트를 높임으로써 사용자가 화면 끌림과 같은 저더나 모션 블러를 인지할 수 없는 가상 현실 화면을 구현할 수 있다.

사용자 움직임 방향의 반대 방향으로 화면(20L, 20R)에 표시되는 영상이 이동한다. 이를 고려하여 제2 모션 벡터는 사용자 움직임의 반대 방향을 따라 사용자 움직임 방향으로 결정될 수 있다. 그런데 입력 영상의 객체가 제2 모션 벡터(MV2)의 방향에 대하여 반대 방향으로 이동하면 제2 모션 벡터의 방향과 실제 영상의 객체 이동 방향이 상충되어 도 12의 예와 같이 역 방향 저더(judder)가 보일 수 있다.

도 11은 사용자 움직임과 제2 모션 벡터를 보여 주는 도면이다. 도 11에서 “OBJ”는 화면(20L, 20R) 상에 표시되는 영상의 움직임 객체를 나타낸다. “USER”는 가상 현실 장치를 착용한 사용자이고, “m”은 사용자(USER)의 모션 벡터이다. 도 12는 영상의 객체 이동 방향과 제2 모션 벡터의 방향이 반대 방향일 때 역방향 저더가 발생되는 예를 보여 주는 도면이다.

화면(20L, 20R) 상에 표시되는 객체(OBJ)가 제2 모션 벡터(MV2)에 대하여 반대 방향으로 이동되면, 보간 프레임의 ROI 영역에서 생성되는 객체 이미지가 객체의 실제 움직임 방향과 반대 방향으로 생성되기 때문에 도 12에 도시된 바와 같이 역방향 저더(RJD)가 보일 수 있다.

본 발명은 이러한 역방향 저더(RJD)를 고려하여 아래의 수학식 1에 도시된 바와 같이 영상의 움직임 객체(OBJ)를 고려하여 제2 모션 벡터(MV2)에 곱해지는 가중치(α)를 조정함으로써 역방향 저더(RJD)를 방지할 수 있다.

여기서, m은 사용자 움직임에 따른 모션 벡터이고 x는 제2 모션 벡터(MV2)를 나타낸다. 가중치(α)는 사용자의 움직임 속도와 영상의 움직임 객체의 방향에 따라 0과 1 사이의 값으로 결정된다.

< Case 1 >

영상의 객체(0BJ)의 움직임에 관계없이 사용자(USER)의 모션 벡터(m) 반대 방향으로 제2 모션 벡터(MV2)가 결정된다. 사용자(OBJ)의 머리나 시선이 이동하는 시간이 빠르면 빠를수록 제2 모션 벡터(MV2)가 커지고 영상에서 객체(OBJ)의 움직임은 상대적으로 작게 느껴진다. 이 경우, 영상의 객체 움직임은 상대적으로 작게 껴질 것이므로 객체의 움직임은 고려하지 않는다. 따라서, 사용자 움직임 속도가 소정의 기준값 이상으로 빠르다면 수학식 1에서 가중치(α)는 1로 결정되어 사용자의 움직임 방향의 반대 방향으로 결정된다.

< Case 2 >

보간 프레임과 실제로 존재하는 그 다음 프레임(현재 프레임)을 비교하여 영상의 움직임 객체(OBJ)의 이동 방향에 대하여 역방향으로 제2 모션 벡터(MV)가 발생되는 영역에서 가중치(α)를 1 보다 작은 값으로 조정하여 역 방향 저더(RJD)를 최소화한다.

< Case 3 >

보간 프레임과 그 다음 프레임을 비교 하여 영상의 거의 모든 부분에서 대략 50% 이상에서 객체(OBJ)의 움직임이 제2 모션 벡터(MV2)에 대하여 역방향이면 제2 모션 벡터(MV2)를 적용하지 않고 제1 모션 벡터(MV)로 보간 프레임의 ROI 영역 데이터를 생성한다. 이 경우, 수학식 1에서 가중치(α)는 0(zero)으로 조정된다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.

20, 20L, 20R : 표시소자 22: 디스플레이 구동부
24 : MEMC 처리부 26 : 센서 모듈
31 : 제1 ROI 추출부 32 : 제1 프레임 레이트 변환부
33 : 사용자 움직임 감지부 34 : ROI 결정부
35 : 제2 ROI 추출부 36 : 제2 프레임 레이트 변환부
40 : 데이터 합성부

Claims (15)

1. 관심 영역과 비 관심 영역으로 나뉘어진 제1 및 제2 화면;
   사용자의 움직임을 감지하는 센서 모듈;
   상기 사용자가 정지 상태일 때 미리 설정된 관심 영역의 보간 프레임 데이터를 생성하는 제1 프레임 레이트 변환부;
   상기 사용자가 움직일 때 상기 사용자 움직임을 반영하여 상기 관심 영역을 실시간 가변하는 관심 영역 결정부;
   상기 관심 영역 결정부에 의해 가변된 관심 영역의 보간 프레임 데이터를 생성하는 제2 프레임 레이트 변환부;
   상기 제1 프레임 레이트 변환부 또는 상기 제2 프레임 레이트 변환부로부터 수신된 관심 영역의 보간 프레임 데이터와 상기 현재 프레임 데이터의 비관심 영역 데이터를 조합하여 화면 전체의 보간 프레임 데이터를 출력하는 데이터 합성부; 및
   상기 데이터 합성부로부터 출력된 데이터를 상기 제1 및 제2 화면의 픽셀들에 기입하는 디스플레이 구동부를 구비하는 가상 현실 장치.
2. 제 1 항에 있어서,
   상기 제1 프레임 레이트 변환부는 입력 영상의 객체 움직임을 바탕으로 제1 모션 벡터를 산출하고, 상기 모션 벡터를 이용하여 상기 관심 영역의 보간 프레임 데이터를 생성하는 가상 현실 장치.
3. 제 2 항에 있어서,
   상기 제1 프레임 레이트 변환부는 상기 사용자가 움직일 때 대기 상태로 전환되는 가상 현실 장치.
4. 제 1 항에 있어서,
   상기 제2 프레임 레이트 변환부는 상기 사용자의 움직임 방향과 속도를 반영한 제2 모션 벡터를 산출하고, 상기 제2 모션 벡터를 이용하여 상기 관심 영역의 보간 프레임 데이터를 생성하는 가상 현실 장치.
5. 제 4 항에 있어서,
   상기 제2 프레임 레이트 변환부는 상기 사용자가 정지 상태일 때 대기 상태로 전환되는 가상 현실 장치.
6. 제 4 항에 있어서,
   상기 제1 프레임 레이트 변환부는 입력 영상의 객체 움직임을 바탕으로 제1 모션 벡터를 산출하고, 상기 모션 벡터를 이용하여 상기 관심 영역의 보간 프레임 데이터를 생성하고,
   상기 제2 프레임 레이트 변환부는 상기 사용자의 움직임 방향과 속도를 반영한 제2 모션 벡터를 산출하고, 상기 제2 모션 벡터를 이용하여 상기 관심 영역의 보간 프레임 데이터를 생성하며,
   상기 제1 프레임 레이트 변환부는 상기 사용자가 움직일 때 대기 상태로 전환되고,
   상기 제2 프레임 레이트 변환부는 상기 사용자가 정지 상태일 때 대기 상태로 전환되는 가상 현실 장치.
7. 제 5 항 또는 제 6 항에 있어서,
   상기 제1 및 제2 화면에 표시되는 영상 데이터는 상기 사용자의 움직임 방향에 대하여 반대 방향으로 이동되고,
   상기 관심 영역 결정부에 의해 가변되는 상기 관심 영역은 상기 사용자의 움직임 방향과 같은 방향으로 이동되며,
   상기 제2 모션 벡터는 상기 사용자의 움직임 방향과 반대 방향을 향하는 가상 현실 장치.
8. 관심 영역과 비 관심 영역으로 나뉘어진 제1 및 제2 화면;
   사용자의 움직임을 감지하는 사용자 움직임 감지부;
   입력 영상의 현재 프레임 데이터에서 미리 설정된 관심 영역 내의 데이터를 추출하는 제1 관심 영역 추출부;
   상기 사용자 움직임 감지부의 출력 신호에 응답하여 상기 사용자가 정지 상태일 때 상기 제1 관심 영역 추출부로부터 수신된 데이터를 이용하여 보간 프레임의 관심 영역 데이터를 생성하는 제1 프레임 레이트 변환부;
   상기 사용자 움직임 감지부의 출력 신호에 응답하여 상기 사용자가 움직일 때 상기 사용자 움직임을 추종하는 관심 영역을 결정하는 관심 영역 결정부;
   상기 관심 영역 결정부에 의해 결정된 관심 영역 내의 데이터를 추출하는 제2 관심 영역 추출부;
   상기 사용자 움직임 감지부의 출력 신호에 응답하여 상기 사용자가 움직일 때 상기 제2 관심 영역 추출부로부터 수신된 데이터를 이용하여 보간 프레임의 관심 영역 데이터를 생성하는 제2 프레임 레이트 변환부;
   상기 제1 프레임 레이트 변환부 또는 상기 제2 프레임 레이트 변환부로부터 수신된 관심 영역의 보간 프레임 데이터와 상기 현재 프레임 데이터의 비관심 영역의 데이터를 조합하여 보간 프레임 데이터를 출력하는 데이터 합성부; 및
   상기 데이터 합성부로부터 출력된 데이터를 상기 제1 및 제2 화면의 픽셀들에 기입하는 디스플레이 구동부를 구비하는 가상 현실 장치.
9. 제 8 항에 있어서,
   상기 제1 프레임 레이트 변환부는 입력 영상의 객체 움직임을 바탕으로 제1 모션 벡터를 산출하고, 상기 모션 벡터를 이용하여 상기 관심 영역의 보간 프레임 데이터를 생성하는 가상 현실 장치.
10. 제 9 항에 있어서,
    상기 제1 프레임 레이트 변환부는 상기 사용자가 움직일 때 대기 상태로 전환되는 가상 현실 장치.
11. 제 8 항에 있어서,
    상기 제2 프레임 레이트 변환부는 상기 사용자의 움직임 방향과 속도를 반영한 제2 모션 벡터를 산출하고, 상기 제2 모션 벡터를 이용하여 상기 관심 영역의 보간 프레임 데이터를 생성하는 가상 현실 장치.
12. 제 11 항에 있어서,
    상기 제2 프레임 레이트 변환부는 상기 사용자가 정지 상태일 때 대기 상태로 전환되는 가상 현실 장치.
13. 제 12 항에 있어서,
    상기 제1 및 제2 화면에 표시되는 영상 데이터는 상기 사용자의 움직임 방향에 대하여 반대 방향으로 이동되고,
    상기 관심 영역 결정부에 의해 가변되는 상기 관심 영역은 상기 사용자의 움직임 방향과 같은 방향으로 이동되며,
    상기 제2 모션 벡터는 상기 사용자의 움직임 방향과 반대 방향을 향하는 가상 현실 장치.
14. 사용자의 움직임을 감지하는 단계;
    상기 사용자가 정지 상태일 때 미리 설정된 관심 영역의 보간 프레임 데이터를 생성하는 단계;
    상기 사용자가 움직일 때 상기 사용자 움직임을 반영하여 상기 관심 영역을 실시간 가변하는 단계;
    상기 실시간 가변된 관심 영역의 보간 프레임 데이터를 생성하는 단계;
    상기 사용자가 정지 상태일 때 상기 미리 설정된 관심 영역의 보간 프레임 데이터와 현재 프레임 데이터의 비관심 영역 데이터를 조합하여 제1 및 제2 화면들 각각에서 화면 전체의 보간 프레임 데이터를 출력하는 단계;
    상기 사용자가 움직일 때 실시간 가변하는 관심 영역의 보간 프레임 데이터와 상기 현재 프레임 데이터의 비관심 영역 데이터를 조합하여 제1 및 제2 화면들 각각에서 화면 전체의 보간 프레임 데이터를 출력하는 단계; 및
    상기 화면 전체의 보간 프레임 데이터를 상기 제1 및 제2 화면의 픽셀들에 기입하는 단계를 포함하는 가상 현실 장치의 구동 방법.
15. 제 14 항에 있어서,
    상기 실시간 가변된 관심 영역의 보간 프레임 데이터를 생성하는 단계는,
    아래의 식에서 정의된 모션 벡터(x)를 이용하여 데이터를 생성하고,
    

    

    
    여기서, m은 사용자의 움직임에 따른 모션 벡터이고, α는 사용자의 움직임 속도와 영상의 움직임 객체의 방향에 따라 0~1 사이에서 가변되는 가중치인 가상 현실 장치의 구동 방법.

Images