KR20130070551A

KR20130070551A - 관찰자가 착용한 안경에서 교정 렌즈들의 광출력을 추정하기 위한 방법 및 디바이스

Info

Publication number: KR20130070551A
Application number: KR1020120148465A
Authority: KR
Inventors: 로렁 블롱데; 씰방 띠보; 디디에 두와영
Original assignee: 톰슨 라이센싱
Priority date: 2011-12-19
Filing date: 2012-12-18
Publication date: 2013-06-27
Also published as: US9228920B2; BR102012031716B1; EP2608109A1; CN103163663A; JP6529208B2; US20130155393A1; BR102012031716A2; JP2013127621A; KR102128407B1; CN103163663B; EP2608109B1; FR2984565A1

Abstract

본 발명은, 관찰자가 착용한 안경에서 교정 렌즈들의 광출력을 추정하기 위한 방법에 관한 것으로, 다음의 단계들,
- 두 개의 이미지를 획득하기 위한 수단의 앞에 위치한 관찰자의 얼굴의 두 개의 연속적인 이미지를 획득하는 단계 - 이러한 이미지들 중 하나는 안경을 이용하여 획득되고 다른 하나는 안경 없이 획득됨 -
- 두 개의 획득된 이미지 중 하나를 다른 하나에 대해 보정(calibrate)하는 단계
- 각각의 이미지에서 각각의 눈의 홍채의 위치를 식별하는 단계
- 각각의 이미지가 맺힌 홍채의 크기 확대 또는 크기 축소를 평가하는 단계, 및
- 평가된 확대 또는 축소에 기초하여 교정 렌즈들의 광출력을 추정하는 단계
를 포함하는 것을 특징으로 한다.

Description

관찰자가 착용한 안경에서 교정 렌즈들의 광출력을 추정하기 위한 방법 및 디바이스{METHOD AND DEVICE FOR ESTIMATING THE OPTICAL POWER OF CORRECTIVE LENSES IN A PAIR OF EYEGLASSES WORN BY A SPECTATOR}

본 발명은 관찰자가 착용한 안경에서 교정 렌즈들의 광출력을 추정하기 위한 방법에 관한 것이다.

본 발명은 스크린 상의 미디어 스트림을 보는 분야에 있다. 이 분야에서, 관찰자가 착용한 안경에서 교정 렌즈들의 광출력(optical power)에 관한 데이터에 따라 이러한 스크린 상에 보여진 미디어 스트림의 처리를 조정할 필요가 있을 수 있다. 따라서, 예를 들어, 미디어 스트림을 볼 때 관찰자가 방해받지 않도록 하기 위해, 3D 스크린 상에 보여진 스트림들의 피사계 심도(depth-of-field) 효과를 조정하여 교정된 관찰자 뷰를 제공할 수 있다.

본 발명에 의해 해결된 문제는, 관찰자가 착용한 안경에서 교정 렌즈들의 광출력을 얻어, 스크린 상에 보여질 미디어 스트림들의 처리를 조정할 수 있도록 하는 것이다.

광출력(optical power)에 관한 데이터를 얻기 위한 제1 접근법은, 사용자 인터페이스에 의해, 안과 의사, 검안사, 또는 안경 제공자와 같은 의료 전문가에 의해 정의된 실제 및 특정 데이터를 제공할 것을 관찰자에게 요청하는 것이다. 그러나, 관찰자가 스크린 상의 미디어 스트림을 보기를 원할 때, 이러한 데이터는 대개 관찰자가 손에 넣을 수 없기 때문에, 이 데이터를 알아서 넣는 것(knowing and entering)은 비현실적이다. 게다가, 이 데이터는, 그들 사이에 반드시 임의의 대응성이 존재할 필요 없이, 나라에 따라, 상이한 측정 단위들로 표현되어, 보여질 미디어 스트림에 적용될 처리를 조정하기 위해 이 데이터를 사용하는 것을 어렵게 만든다.

또 다른 접근법은, 예를 들어, 렌즈미터(lensometer)로 렌즈의 광출력을 물리적으로 측정하는 것이다. 그러나, 이러한 측정은 그들의 비용으로 인해 널리 배포될 수 없고 따라서 전문가 전용이다.

본 발명에 따르면, 일반적으로, 관찰자가 착용한 안경에서 교정 렌즈들의 광출력은, 스크린 상의 미디어 스트림을 보기 위해 배치된, 관찰자의 앞에 위치한 카메라에 의해 촬영된, 관찰자의 얼굴의 두 개의 이미지로부터 추정된다.

이러한 측면들 중 하나에 따르면, 본 발명은 관찰자가 착용한 안경에서 교정 렌즈들의 광출력을 추정하기 위한 방법에 관한 것이다. 이 방법은 다음의 단계들을 포함하는 것을 특징으로 한다.

- 두 개의 이미지를 획득하기 위한 수단의 앞에 위치한 관찰자의 얼굴의 두 개의 연속적인 이미지를 획득하는 단계 - 이러한 이미지들 중 하나는 안경과 함께 획득되고 다른 하나는 안경 없이 획득됨 -

- 다른 하나에 대하여 두 개의 획득된 이미지 중 하나를 보정(calibrate)하는 단계

- 각각의 이미지에서 각각의 눈의 홍채의 위치를 식별하는 단계

- 각각의 이미지가 맺힌(imaged) 홍채의 확대(magnification) 또는 크기 축소를 평가하는 단계, 및

- 평가된 확대 또는 축소에 기초하여 교정 렌즈들의 광출력을 추정하는 단계

이 방법은 신속하고, 종래 기술의 다른 방법들에 비해 관찰자가 쉽게 사용할 수 있다.

본 발명은 또한 매체에 저장될 수 있고 및/또는 통신 네트워크로부터 다운로드될 수 있는 컴퓨터 프로그램에 관한 것이다. 이 컴퓨터 프로그램은, 상기 프로그램이 컴퓨터 시스템이나 프로세서에 의해 실행될 때, 전술한 방법을 구현하기 위한 명령어들을 포함한다. 본 발명은 또한 이러한 컴퓨터 프로그램을 포함하는 저장을 위한 수단들에 관한 것이다.

이러한 측면들 중 또 다른 것에 따르면, 본 발명은 또한 상기 방법을 구현하기 위한 수단들을 포함하는 디바이스에 관한 것이다.

전술한 발명의 특성들은 물론 다른 특성들은 특정한 실시예에 대한 다음의 설명을 읽으면 좀 더 명확하게 드러날 것이고, 상기 설명은 첨부된 도면을 참조하여 행해진다.

도 1은 관찰자 얼굴의 위치 결정(positioning)을 용이하게 하기 위해 스크린 상에 표시된 마킹들(markings)의 일례를 개략적으로 보여준다.
도 2는 사용자가 착용한 안경에서 렌즈의 광출력을 추정하기 위한 방법의 단계들에 대한 다이어그램을 개략적으로 보여준다.
도 3은, 도 2의 방법의 하나의 실시예에 따른, 안경에서 교정 렌즈들의 광출력을 추정하는 일례를 개략적으로 보여준다.
도 4는 도 2의 방법을 구현하는 디바이스의 일 실시예에 대한 블록도를 개략적으로 보여준다.

본 발명은 원시(farsighted) 또는 근시(nearsighted) 관찰자들에게 적용된다. 원시(farsightedness)의 경우에, 교정 렌즈들은 수렴 렌즈들(converging lenses)이고, 앞에서 관찰자를 관찰할 때 눈의 크기를 증가시킨다. 근시의 경우, 교정 렌즈들은 발산 렌즈들(diverging lenses)이고, 안경이 없는 것에 비해 있을 때 눈이 더 작아 보인다.

도 2에 도시된 바와 같이, 관찰자가 착용한 안경에서 교정 렌즈들의 광출력을 추정하는 방법은, 두 개의 이미지를 획득하기 위한 수단 앞에 위치한 관찰자의 얼굴에 대한 두 개의 연속적인 이미지들(Ia 및 Is)을 취득하는 단계 1을 포함한다는 것을 특징으로 한다. 이러한 이미지들 중 하나(Ia)는, 관찰자가 안경을 착용하고 있을 때 취득되는 한편, 이러한 이미지들 중 다른 하나(Is)는 관찰자가 안경을 착용하고 있지 않을 때 취득된다.

실제로, 카메라와 같은 취득 수단은, 미디어 스트림을 보기 위해 만들어진 스크린과 같은, 뷰잉 디바이스에 장착되거나 통합될 수 있다. 그것은 또한 "셋톱 박스" 또는 STB로서 설명된 디바이스와 같은, 비디오 신호 수신 및 디코딩 디바이스에 장착될 수도 있다. 관찰자는 그 다음 특정한 위치에 있는 카메라의 앞에 서도록 요청된다. 이러한 목적을 위해, 도 1에 도시된 바와 같이, 얼굴의 눈, 코, 및 윤곽에 대한 마킹들은, 카메라에 의해 보여진 관찰자의 얼굴의 이미지에 오버랩되도록 스크린 상에 표시될 수 있다. 미러 효과를 위해 카메라를 사용하면, 관찰자의 위치 결정을 용이하게 한다. 관찰자는, 그의 눈, 코, 및 얼굴이 이러한 마킹들과 가능한 한 잘 나란히 세워지도록 배치된다. 카메라의 줌의 설정 또한 관찰자의 눈, 코, 및 얼굴을 적절히 조정하는 것을 도울 수 있다.

멀티미디어 시스템에서 흔히 사용되는 카메라에 기초한, 관찰자의 이러한 초기의 위치 결정은 두 개의 이미지의 충분한 취득 해상도를 고려하여 우리가 나중에 볼 눈의 반경을 결정한다.

방법은 단계 2를 계속해서 두 개의 이미지 중 하나, 이를테면, Ia를 다른 하나, 이를테면, Is에 대해 보정하고, 후속하여, 단계 3에서 각각의 이미지에서 각각의 눈의 홍채의 위치를 식별하고, 단계 4에서 교정 렌즈들로 인한 각각의 이미지가 맺힌 홍채의 확대 또는 크기 축소를 평가하고, 단계 5에서 교정 렌즈들의 광출력을 추정한다.

두 개의 이미지를 취득하는 동안, 관찰자의 얼굴과 카메라와 같은 취득 수단 사이의 거리는 일정하게 유지하는 것이 바람직하다. 그러나, 이 경우가 아닌 경우에, 스케일 팩터 S는, 바람직하게는, 교정 렌즈들에 대한 이미지 영역들의 외측에 위치한 이미지 원형들(image primitives)의 추출 및 매핑에 의해 또 다른 얼굴에 대한 하나의 얼굴로부터 계산된다.

방법의 일 실시예에 따르면, 스케일 팩터 S는

로 주어지고, 여기서, D_s는 이미지 Is에서 두 개의 원시 점(primitive points) 사이에 있는 픽셀들로 표현된 거리이고, 그 다음 레퍼런스(reference)로서 취해지고, D_a는 이미지 Ia에서 동일한 두 개의 원시 점 사이에 있는 픽셀들로 표현된 거리이다.

이미지의 홍채의 위치의 식별에 관하여, 예를 들어, 홍채에 대응하는 영역의 특정 텍스처를 사용하는 것이 알려져 있다.

3D 스크린에 보여진 마킹들 중 하나의 중심과 같은, 선택된 위치 주위에 배치된 윈도우에서, 이러한 식별에 대한 일 실시예에 따르면, 이미지에서 눈의 홍채의 가장자리는 에지 검출기, 이를테면, 예를 들어, 캐니 에지 검출기(Canny edge detector)를 적용하여 검출된다. 그 다음, 허프 변환(Hough transform)이 사용되어 원을 검출하고, 따라서, 원의, 픽셀들로 표현된, 반경을 결정한다. 각각의 이미지에서 각각의 눈의 홍채를 식별하는 것을 고려하면, 이 접근법은, 관찰자가 안경을 착용하고 있을 때 이미지 Ia의 왼쪽 눈의 홍채의 반경

과 오른쪽 눈의 홍채의 반경

둘 다를 결정하는 것을 가능하게 하고, 관찰자가 안경을 착용하고 있지 않을 때 이미지 Is의 오른쪽 눈의 홍채의 반경

과 왼쪽 눈의 홍채의 반경

둘 다를 결정하는 것을 가능하게 한다.

캐니 에지 검출기와 허프 변환을 조합한 사용은 홍채의 반경을 추정하기 위한 서브픽셀 정확도를 제공한다.

그 다음, 예를 들어, 이미지 Is를 레퍼런스 이미지로서 간주하는 오른쪽 눈 K_R 또는 왼쪽 눈 K_L에 대한 홍채의 확대 또는 크기 축소를 평가하기 위해, 팩터

및

이 계산된다. 스케일 팩터 S는 단지 선택적인 것이라는 것에 주목해야 한다.

그 다음 교정 안경의 왼쪽 렌즈의 광출력 P_L은 렌즈의 초점 거리 f'_L의 역으로 주어지고 팩터 K_L로부터 추정되며, 교정 안경의 오른쪽 렌즈의 광출력 P_R은 렌즈의 초점 거리 f'_R의 역으로 주어지고 그 다음 팩터 K_R로부터 추정된다.

이러한 목적을 위해, 렌즈들과 관찰자의 하나의 눈의 홍채 사이의 거리 e는 알려지거나 추정되어야 한다. 추정된 값으로서 검안사에 의해 평균 14㎜가 사용된다. 가우시안 근축 광학적 근사(Gaussian paraxial approximation)를 고려하면, 렌즈 초점 거리

는 홍채의 반경의 크기 K_L과 K_R에 있어서의 명백한 변화로부터 계산될 수 있다.

도 3에서, F'는 초점이고, 라인 L은 광학적 중심 O(렌즈들의 정정에 의해 편향되지 않는)를 통과하는 반경이고, 라인 D는 초점 F'로부터의 반경으로, 이는 렌즈들의 정정에 의해 광축으로부터 편향되며, Ox는 렌즈들의 광축이고, 점 B와 B'는 라인 L과 눈의 홍채 사이의 교차점(도 2에서 그늘진)이고, 점 A과 A'는 이미지 Ia과 Is에서 광축 Ox와 홍채의 교차점이다.

따라서,

는 교정 안경이 없는 눈의 홍채의 반경이고,

는 안경을 통한 눈의 이미지가 맺힌 홍채의 반경인 경우, K_L 또는 K_R의 값은

으로 주어진다. 이 값은 위치 OA에 대한 안경 렌즈들의 배율 M에 대응한다. 이 값 M은 또한 다음과 같이 표현될 수 있다.

거리 e가

인 경우, 우리는

를 얻는다.

인, 상기 데카르트 공식의 중심에서 비롯된 공액변환 공식(conjugation formula)에 이러한 값들을 삽입하면, 초점 거리 f'_L은

으로 주어지고, 여기서,

이고

이다.

초점 거리 fR'은 도 3을 고려하여 팩터 K_L을 팩터 K_R로 대체하여 유사하게 주어진다.

일부 애플리케이션들에서, 반드시 초점 거리 f'를 알 필요는 없지만, 배율 값 M을 아는 것으로 충분하다

이는, 관찰점으로부터 정의된, 원래의 각도 방향 θ_A으로부터, 안경 렌즈들이 사용된 후에 인식된 각도 방향 θ_A'쪽으로, 광선의 편향을 결정할 필요가 있는 경우이다.

이러한 경우에,

추정된 거리 e에 대한 오류는 아무런 영향을 미치지 않는다.

도 4는 도 2의 방법을 구현하는 디바이스의 아키텍처에 대한 일 실시예를 개략적으로 도시한다.

디바이스(400)는, 통신 버스(401)에 의해 접속된, 다음의 것들을 포함한다.

- 프로세서, 마이크로-프로세서, 마이크로컨트롤러(μc로 알려짐), 또는 CPU(Central Processing Unit)(402);

- RAM(random access memory)(403)

- ROM(read-only memory)(404)

- 관찰자의 얼굴의 이미지를 취득하기 위한 수단, 이를테면, 카메라(405);

- 스크린(406); 및

- 인간-기계 인터페이스(man-machine interface; 407)의 수단, 이를테면, 터치스크린 및/또는 버튼들의 집합.

마이크로컨트롤러(402)는, ROM(404)으로부터, 외부 메모리(도시되지 않음)로부터, SD 카드나 다른 매체와 같은 저장 매체로부터, 또는 통신 네트워크로부터 RAM(403)으로 로드된 명령어들을 실행할 수 있다. 디바이스(400)가 켜져있을 때, 마이크로 컨트롤러(402)는 RAM(403)로부터 명령어들을 판독하여 그들을 실행할 수 있다. 이러한 명령어들은, 도 2에 대하여 아래에 설명된 알고리즘들의 일부 또는 전부의 구현을, 마이크로컨트롤러(402)에 의해, 야기하는 컴퓨터 프로그램을 형성한다.

도 2에 대하여 아래에 설명된 알고리즘들의 일부 또는 전부는, 마이크로컨트롤러(402)와 같은 마이크로컨트롤러 또는 DSP(digital signal processor)와 같은 프로그램가능 기계 상의 명령어들의 집합을 실행하여 소프트웨어를 통해 구현될 수 있고, 또는 FPGA(field-programmable gate array) 또는 ASIC(application-specific integrated circuit)와 같은, 내장된 컴포넌트 또는 기계에 의해 하드웨어를 통해 구현될 수 있다.

수단(407)은, 카메라의 줌을 변경하는 것과 같이, 사용자가 디바이스와 상호작용하는 것을 허용하기 위해 사용될 수 있다. 수단들(402, 403, 및 404)은, 각각의 이미지에서 각각의 눈의 홍채의 위치를 식별하기 위한 수단, 각각의 이미지가 맺힌 홍채의 확대 또는 크기 축소를 평가하기 위한 수단, 및 그렇게 평가된 확대 또는 축소로부터 교정 렌즈들의 광출력을 추정하는 수단의 역할을 제공하기 위해 공존한다.

Claims

관찰자(spectator)가 착용한 안경에서 교정 렌즈들의 광출력(optical power)을 추정하기 위한 방법으로서,
- 두 개의 이미지를 획득하기 위한 수단의 앞에 위치한 관찰자의 얼굴의 두 개의 연속적인(consecutive) 이미지를 획득하는 단계 - 이러한 이미지들 중 하나는 안경을 이용하여 획득되고 다른 하나는 안경 없이 획득됨 -
- 상기 두 개의 획득된 이미지 중 하나를 상기 다른 하나에 대해 보정(calibrate)하는 단계
- 각각의 이미지에서 각각의 눈의 홍채의 위치를 식별하는 단계
- 각각의 이미지가 맺힌(imaged) 홍채의 크기 확대 또는 크기 축소를 평가하는 단계, 및
- 평가된 확대 또는 축소에 기초하여 상기 교정 렌즈들의 상기 광출력을 추정하는 단계
를 포함하는 광출력 추정 방법.
제1항에 있어서, 각각의 이미지에서 각각의 눈의 홍채의 식별은 다음의 단계들에 의해 수행되는 것으로,
- 선택된 위치 주위에 배치된 윈도우에서, 상기 홍채의 가장자리는 상기 이미지에 가장자리 검출기를 적용하여 상기 이미지에서 검출되고, 허프 변환(Hough transform)은 각각의 이미지의 각각의 홍채를 정의하는 원들의 반경(
,
)을 결정하는데 사용되고,
- 그 다음, 이미지가 맺힌 홍채의 확대 또는 크기 축소는 상기 홍채에 대응하는 상기 이미지들에서 두 개의 원의 반지름 사이의 비(ratio)에 의해 추정되고,
- 그 다음, 상기 홍채에 대한 교정 안경에서 상기 렌즈들의 상기 광출력은 상기 두 개의 원의 반경 사이의 비 및 상기 렌즈들과 상기 홍채 사이의 거리로부터 추정된 상기 렌즈들의 초점 거리의 역(inverse)으로 주어지는, 광출력 추정 방법.
제1항에 있어서, 이미지가 맺힌 홍채의 확대 또는 크기 축소는, 상기 두 개의 획득된 이미지 중 하나에서 두 개의 원시 점(primitive point) 간의 거리와, 다른 하나의 이미지의 동일한 두 개의 원시 점 간의 거리 사이의 비에 의해 정의된 스케일 팩터에 의해 가중되는(weighted) 광출력 추정 방법.
3D 스크린 상의 관찰자에게 보여지도록 의도된 미디어 스트림에 적용된 처리를 조정하기 위해, 제1항 내지 제3항에 따른 관찰자가 착용한 안경에서 교정 렌즈들의 광점(optical point)을 추정하기 위한 방법의 사용.
프로그램이 디바이스의 프로세서에 의해 실행될 때, 제1항 내지 제4항 중 어느 한 항에 따른 방법의, 디바이스에 의한, 구현을 위한 명령어들을 포함하는 컴퓨터 프로그램.
프로그램이 디바이스의 프로세서에 의해 실행될 때, 제1항 내지 제4항 중 어느 한 항에 따른 방법의, 디바이스에 의한, 구현을 위한 명령어들을 포함하는 컴퓨터 프로그램을 저장하는 저장 수단.
관찰자가 착용한 안경에서 교정 렌즈들의 광출력을 추정하기 위한 디바이스로서,
- 두 개의 이미지를 획득하기 위한 수단의 앞에 위치한 관찰자의 얼굴의 두 개의 연속적인 이미지를 획득하는 수단 - 이러한 이미지들 중 하나는 안경을 이용하여 획득되고 다른 하나는 안경 없이 획득됨 -
- 상기 두 개의 획득된 이미지 중 하나를 상기 다른 하나에 대해 보정(calibrate)하는 수단
- 각각의 이미지에서 각각의 눈의 홍채의 위치를 식별하는 수단
- 각각의 이미지가 맺힌 홍채의 크기 확대 또는 크기 축소를 평가하는 수단, 및
- 평가된 확대 또는 축소에 기초하여 상기 교정 렌즈들의 상기 광출력을 추정하는 수단
을 포함하는 광출력 추정 디바이스.