KR20080034797A - 헤드업 디스플레이 시스템용 보정 기술 - Google Patents

헤드업 디스플레이 시스템용 보정 기술 Download PDF

Info

Publication number
KR20080034797A
KR20080034797A KR1020070104039A KR20070104039A KR20080034797A KR 20080034797 A KR20080034797 A KR 20080034797A KR 1020070104039 A KR1020070104039 A KR 1020070104039A KR 20070104039 A KR20070104039 A KR 20070104039A KR 20080034797 A KR20080034797 A KR 20080034797A
Authority
KR
South Korea
Prior art keywords
points
correction
image
point
array
Prior art date
Application number
KR1020070104039A
Other languages
English (en)
Inventor
도그 맥페디언
타티아나 파블로브나 카단체바
Original Assignee
세이코 엡슨 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세이코 엡슨 가부시키가이샤 filed Critical 세이코 엡슨 가부시키가이샤
Publication of KR20080034797A publication Critical patent/KR20080034797A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

워핑된 면 상에 투사되는 이미지를 조정하는 방법이 제공된다. 그 방법은 워핑된 면 상에 투사되는 보정 이미지 내의 보정 포인트들을 캡쳐하는 것에서 시작한다. 그 방법은 보정 포인트들을 분석하여 보정 포인트들 간의 상대적인 위치를 판정하는 공정을 포함한다. 일 실시예에서, 그 방법은 보정 포인트들의 연속적인 행에 대해 시작 포인트들을 위치 결정하는 의사 원점을 이용한다. 보정 포인트들은 상대적인 위치에 따라 정렬된다. 정렬된 보정 포인트들은 워핑된 면 상에 이미지 데이터의 투사 전에 이미지 데이터를 변경하도록 적용될 수 있다. 워핑된 면 상에 투사되는 이미지가 왜곡된 것으로서 나타나지 않도록 포인트들을 보정하는 시스템이 또한 제공된다.

Description

헤드업 디스플레이 시스템용 보정 기술{CALIBRATION TECHNIQUE FOR HEADS UP DISPLAY SYSTEM}
본 발명은 헤드업 디스플레이 시스템용 보정 기술에 관한 것이다.
자동차에 대한 안전성 특징을 향상시키려는 시도에서, 일부 자동차 모델의 구매자에 대한 옵션으로서 헤드업 디스플레이(HUD)가 제공되고 있다. 가상 이미지가 계기반으로부터 윈드실드 상에 투사된다. 윈드실드는 편평하지 않거나 운전자의 눈에 수직이 아니기 때문에, 이미지는 왜곡되지 않고 판독을 쉽게 하기 위해 보정되어야 한다. 일부 해법에서는, 유리의 기하학적 형상을 변화시켜 이미지 반사에 필요한 광학적인 보정을 제공하기 위해 특수한 쐐기형 중간층을 사용한다. 다른 해법에서는, 인지되는 이미지가 왜곡되지 않도록 투사되는 이미지를 변경하도록 자동차의 생산 중에 기술자가 광학 렌즈를 수동으로 조작한다.
그러나, 기존의 모든 해법들은 프로젝터의 임의의 변경, 관측자 관찰위치, 또는 윈드실드에 대한 변경에 대해 조정할 능력이 부족하다. 따라서, 원래의 설정 후에 어떤 변경이 있을 때, 차량의 소유자는 차량이 그러한 변경을 수용하기 위해 재조정된 시스템을 갖도록 고려해야 한다. 이들 제한은 현재 사용 가능한 HUD 시 스템을 유연성이 없고 고가로 만든다.
그 결과, 소비자들의 폭넓은 지지를 얻기 위해, 비용 효율적인 방식으로 조정될 수 있는 HUD 시스템을 제공하도록 종래 기술의 문제점을 해결할 필요가 있다.
따라서, 본 발명은 시청자가 어떠한 왜곡도 없이 이미지를 시청하도록 워핑된 면 상에 투사하기 전에 이미지를 조정하는 데이터를 제공하는 보정 기술을 제공하는 것을 목적으로 한다.
대략적으로 말하면, 본 발명은 시청자가 어떠한 왜곡도 없이 이미지를 시청하도록 워핑된 면 상에 투사하기 전에 이미지를 조정하는 데이터를 제공하는 보정 기술을 제공함으로써 이들 필요성을 충족한다. 본 발명은 프로세스, 기기, 시스템, 장치, 또는 방법으로서 포함하는 다수의 방법으로 실시될 수 있음을 이해할 것이다. 본 발명의 여러 가지 창의적인 실시예들을 이하 설명한다.
일 실시예에서, 워핑된 면 상에 투사되는 이미지를 조정하는 방법이 제공된다. 그 방법은 워핑된 면 상에 투사되는 보정 이미지 내의 보정 포인트들을 캡쳐하는 것에서 시작한다. 일 실시예에서, 보정 이미지는 그 꼭지점에서 포인트들을 갖는 그리드이고, 보정 이미지는 디지털 포맷으로 캡쳐된다. 그 방법은 보정 포인트들을 분석하여 보정 포인트들 간의 상대적인 위치를 판정하는 공정을 포함한다. 일 실시예에서, 그 방법은 보정 포인트들의 연속적인 행에 대해 시작 포인트들을 위치 결정하는 의사 원점을 이용한다. 보정 포인트들은 상대적인 위치에 따라 정렬된다. 정렬된 보정 포인트들은 워핑된 면 상에 이미지 데이터의 투사 전에 이미지 데이터를 변경하도록 적용될 수 있다.
다른 실시예에서, 이미지가 워핑되지 않은 면 상에 투사되는 것으로 인식되도록 워핑된 면 상에 투사되는 이미지를 어떻게 변경할지를 판정하는 방법이 제공된다. 그 방법은 제1 관찰위치에서 워핑된 면 상에 패턴을 갖는 보정 이미지를 투사하는 공정 및 워핑된 면으로부터의 효과를 갖는 보정 이미지를 캡쳐하는 공정을 포함한다. 일 실시예에서, 이미지는 디지털 카메라를 통해 캡쳐된다. 그 방법은 또한, 캡쳐된 보정 이미지의 분석을 통해 패턴의 포인트들을 인식하는 공정을 포함한다. 일 실시예에서, 최상부 좌측 보정 포인트가 위치 결정되고, 나머지 보정 포인트들은 그 후 나머지 포인트들의 상대적인 위치와 거리에 따라 행당을 기초로 위치 결정된다. 위치 결정된 포인트들은 그 후 캡쳐된 보정 이미지의 패턴에 대응하도록 어레이 내에서 정렬된다. 각각의 상기 공정은 제2 관찰위치에서 반복된다. 그 후, 제1 관찰위치로부터의 어레이나 제2 관찰위치로부터의 어레이 중 하나가 대응하는 관찰위치에서 투사되는 이미지 데이터를 조정하도록 적용될 수 있어, 이미지가 워핑되지 않은 면 상에 투사된 것과 같이 인식된다.
또 다른 실시예에서, 곡면 상에 투사되는 이미지가 왜곡된 것으로서 나타나지 않도록 포인트들을 보정하는 시스템이 제공된다. 그 시스템은 상기 곡면 상에 패터닝된 이미지를 투사하는 이미지 생성 장치 및 상기 곡면 상에 투사되는 상기 패터닝된 이미지를 디지털 방식으로 캡쳐하는 이미지 캡쳐 장치를 포함한다. 프로세서와 메모리를 갖는 컴퓨팅 시스템이 또한 제공된다. 메모리는 디지털 방식으로 캡쳐된 패터닝된 이미지의 디지털 포인트들을 인식하는 보정 로직을 포함한다. 보정 로직은 또한 상기 디지털 방식으로 캡쳐된 패터닝된 이미지의 최상부 좌측 디지 털 포인트를 식별하여, 최상부 행과 각 연속적인 행에서의 나머지 디지털 포인트들의 각각을 정렬한다.
본 발명의 이점은 본 발명의 원리를 예로서 설명하는 첨부하는 도면과 관련하여 취해진 이하의 상세한 설명으로부터 명백해질 것이다.
본 발명은 같은 참조 번호가 같은 구성 요소를 가리키는 첨부하는 도면과 관련하여 이하의 상세한 설명에 의해 쉽게 이해될 것이다.
본 발명에 의하면, 시청자가 어떠한 왜곡도 없이 이미지를 시청하도록 워핑된 면 상에 투사하기 전에 이미지를 조정하는 데이터를 제공하는 보정 기술을 얻을 수 있다.
이하의 설명에서, 본 발명의 완전한 이해를 제공하기 위해 다수의 특정 상세가 설정된다. 그러나, 당업자에게는 본 발명이 이들 특정 상세 중 어느 것 없이 실시될 수 있다는 것이 명백해질 것이다. 다른 예들에서는, 잘 알려진 프로세스 공정 및 실시 상세가 발명을 불필요하게 불명료하게 만드는 것을 피하기 위해 상세히 설명하지 않고 있다.
워핑 제거된 이미지를 워핑된 면 상에 생성하기 위해, 아래에 설명하는 실시예들에 따라 1회 보정 프로세스가 실행된다. 이 보정 프로세스는 각 투사, 면 및 관측자 관측 인스턴스(instance)에 대해 실행된다. 즉, 프로젝터 또는 이미지 생성 장치가 변경되거나 이동하면, 또는 면이 변경되거나 이동하면, 또는 관측자의 관찰위치가 이동하면, 새로운 보정 프로세스가 필요하게 된다. 일 실시예에서, 복수의 보정 프로세스로부터의 데이터가 세이브될 수 있다. 이 실시예에서, 세이브된 데이터는 예컨대, 프로젝터, 관측자의 관찰위치 등에 대해 발생하는 변경에 응답하여 액세스될 수 있다. 따라서, 변경된 조건을 수용하기 위해 광학 렌즈를 수동으로 조정하는 것보다는, 세이브된 보정 데이터가 더욱 효율적인 방식으로 디지털 해법을 제공하도록 액세스될 수 있다.
보정 프로세스의 고레벨 개관으로서, 아래의 공정들이 실행된다, 즉, 보정 이미지가 일반적으로 워핑된 면 상에 투사된다. 워핑된 면 상에 투사된 것과 같이, 보정 이미지는 관측자의 관찰위치로부터 디지털 방식으로 촬영된다. 디지털 사진의 데이터가 그 후 아래에 더욱 상세히 설명되는 기능을 갖는 소프트웨어에 의해 분석되어 처리된다. 처리 결과는 보정 결과에 기초하여 데이터를 의도적으로 조작하는 인버스(inverse) 워핑 소프트웨어라고도 하는 워핑 제거 소프트웨어용 입력 데이터가 되어, 워핑 제거 소프트웨어에 의해 변형된 투사 이미지가 관측자에 의해 관측되는 바와 같이, 왜곡되지 않고 나타날 것이다.
도 1b 내지 1e는 본 발명의 일 실시예에 따라 디지털 이미지 상에 각각의 보정 포인트들을 위치시키는 기술을 도시하는 간략화된 개략도이다. 도 1a에는, 디지털 포인트의 그리드가 제공되어 디지털 방식으로 캡쳐된다. 일 실시예에서, 디지털 포인트의 그리드가 워핑된 면 상에 투사되어 디지털 카메라에 의해 캡쳐된다. 워핑된 면(103)은 키스톤 효과를 야기하는 프로젝터에 대한 평면각(planar angle)과 함께 곡면을 갖는 자동차의 윈드실드를 나타낼 수 있다는 것을 이해해야 한다. 그러나, 여기에 설명된 실시예들은 임의의 적절한 워핑된 면에 적용될 수도 있다. 그 면은 오목면, 볼록면, 또는 양자의 조합을 포함할 수 있고, 그 면은 각도의 기울기를 가질 수 있다. 일 실시예에서, 워핑된 면(103)의 굴곡 정도는 캡쳐 장치의 방향에 대해 중심이 되거나 회전의 45도일 수 있으나, 당업자는 여기에 설명된 실시예들이 더 큰 굴곡의 정도를 수용하기 위해 적용되도록 조정될 수 있다는 것을 이해할 것이다. 여기에 설명된 보정 프로세스는 도트들/포인트들에 의해 기능하고, 이들 도트/포인트가 사각형(사변형)의 4개의 꼭지점에 대응하도록 하고 있지만, 이것은 한정하고자 하는 의미는 아님을 이해할 것이다. 즉, 디지털 포인트들의 그리드에 관하여 여기에서 논의된 포인트들은 디지털 포인트들이 그리드 내의 직사각형의 꼭지점들인 하나의 대표적인 실시예이기 때문에, 용어 꼭지점(들)은 실시예들을 한정하고자 하는 의미가 아니다.
도 1b는 하나의 디지털 포인트가 복수의 픽셀을 포함하는, 도 1의 그리드 내의 하나의 디지털 포인트를 도시한다. 디지털 포인트(100)는 밝기가 변화하는 픽셀을 포함한다. 일 실시예에서, 소프트웨어는 디지털 포인트를 찾는 캡쳐된 디지털 이미지를 주사한다. 디지털 포인트들의 위치 결정은 일정 임계값 이상인 휘도를 갖는 값을 설정하기 위해 이미지 픽셀을 가로질러 주사하면서 픽셀 값들을 비교함으로써 달성될 수 있다. 임계값은 프로그램 가능하고, 본 발명의 일 실시예에 따르는 점등 조건에 기초하여 변경될 수 있다. 도 1b는 픽셀들(100a)의 클러스터로 이루어지는 포인트(100)를 도시한다. 도 1c에서, 임계값은 픽셀값의 외부 경계가 임계값을 초과하지 않으므로, 픽셀값의 외부 경계를 제거하기 위해 사용된다. 따라서, 디지털 포인트(100)는 임계값을 초과하지 않는 값을 갖는 픽셀의 제거 후의 도 1c에서의 포인트(100')로서 정해진다. 도 1d는 본 발명의 일 실시예에 따라 이미지를 주사할 때, 디지털 포인트를 나타내는 화소들(100a)의 클러스터(100') 둘레에 정해진 영역을 도시하는 간략화된 개략도이다. 도 1d에서, 디지털 포인트의 최초 픽셀이 위치하면, 주사 영역(102)이 픽셀(100a)의 클러스터의 둘레에 정해진다. 영역(102)의 크기는 본 발명의 일 실시예에서의 디지털 이미지의 크기와 관련된 수학적인 계산에 기초하고 있다. 당업자는 다수의 기술이 주사 영역(102)의 크기를 한정하는 데 사용될 수도 있음을 이해할 것이다. 그로우(grow) 직사각형이라고도 할 수 있는 영역(102)은 보정 포인트를 한정하는 주어진 영역 내에서 모든 픽셀들을 탐색할 때 주사 프로세스에 도움을 주는 것에 주의해야 한다. 또한, 여기에서 설명하는 실시예들은 삭제를 포함한다, 즉, 다음의 픽셀로 이동하여 주사하기 전에, 임계값을 초과하는 픽셀값에 대해 픽셀값을 블랙으로 설정한다. 당업자는 주어진 디지털 포인트(100')에 대한 모든 픽셀이 삭제되지 않으면, 즉, 픽셀값들이 0, 블랙, 또는 임계값 미만의 어떤 값으로 설정되지 않으면, 이들 픽셀은 주사 프로세스 중에 그들이 복제될 때나 고스트 픽셀을 생성할 때 다시 나타날 것이라는 것을 이해할 것이다.
도 1e는 본 발명의 일 실시예에 따르는 픽셀의 전체 클러스터들에 대한 주사의 완료 후에 정해진 중심점을 갖는 픽셀의 클러스트를 도시한다. 도 1e에서, 화소의 클러스터(100') 둘레에 크로핑 박스(102')가 정해진다. 크로핑 박스(102')는 디지털 포인트(100)의 범위를 나타낸다. 크로핑 박스(102')로부터, 소프트웨어가 클러스터의 중심점(104)을 계산한다. 이 중심점은 그 후 디지털 포인트의 상대 좌표(100')로 사용된다. 디지털 포인터의 좌표(100')는 보정 좌표의 어레이에 부가되어 저장된다. 상기 프로세스는, 각 디지털 포인트가 보정 그리드 내에 위치하고 이들 디지털 포인트의 각각이 도 1b 내지 도 1e에 대해 상기 언급한 주사를 통해 탐색됨에 따라 어레이가 성장하기 때문에, 계속된다.
상기 언급한 바와 같이, 보정 이미지는 하나의 대표적인 실시예에서 그리드 패턴으로 균일하게 이격된 도트들(또는 포인트들)의 어레이로 이루어진다. 일반적으로, 포인트 간격은 2개의 가장 일반적인 블록 크기인 16 또는 32 픽셀 중 하나이다. 보정 이미지는 정적 비트맵(static bitmap)이거나 소프트웨어에 의해 생성될 수 있다. 640 픽셀 폭 × 480 라인 높이의 일반적인 디스플레이 해상도에 대해, 16 또는 32의 블록 크기를 사용하여 영역을 그리드로 균등하게 분할한다. 예를 들면, 32 픽셀 블록 크기가 사용되면, 수평으로 21 포인트들과 수직으로 16 포인트들이 존재하게 된다. 이 예는 보정 이미지에서 총 336 포인트들을 생성할 것이다.
640/32=20이고 480/32=15이지만, 하나의 여분의 포인트들의 열이 최우측 에지에 부가되어 수평 총합이 21이 되게 하고, 하나의 여분의 포인트들의 행이 최하측 에지에 부가되어 수직 총합이 16이 되게 하는 것에 주의해야 한다. 여분의 포인트들의 행/열은 이미지의 에지들을 효율적으로 나타내고, 그들 에지를 약간 "오프 이미지"로 논리적으로 시프트하는 데 다소의 소프트웨어 조정이 필요하게 된다. 이것은 아래에 더욱 상세히 커버될 것이다. 소프트웨어는 디지털 사진을 분석하고, "나타난" 모든 포인트들을 워핑된 면 상에 투사된 것과 같이 위치시키도록 시 도한다. 디지털 사진은 투사된 보정 포인트들보다 더 밝은 임의의 픽셀을 포함하지 않는데, 그 이유는 이들 포인트가 소프트웨어에 의해 인식되기 때문이라는 것이 이해될 것이다. 워핑된 면 상에 투사되어 디지털 카메라에 의해 관측되는 것과 같은 보정 포인트들은, 보정 포인트들이 그 강도 또는 휘도를 통해 식별될 때, 디지털 사진에서 가장 밝은 오브젝트들이다. 상기 언급한 바와 같이, 보정 소프트웨어가 보정 포인트들의 상대 위치에 관련되어 있기 때문에, 디지털 사진 내의 보정 포인트들의 어레이의 위치는 중요하지 않다. 원래 투사된 보정 이미지가 알려져 있기 때문에, 보정 소프트웨어는 모든 포인트들을 탐색하여 그들을 정확한 순서로 나열한다. 보정 포인트들의 절대 좌표는 처리되는 상대 좌표로 변환된 후, 아래에서 논의되는 바와 같이, 워핑 제거 소프트웨어에 의해 계속해서 처리된다. 따라서, 도 1b∼1e에 대하여, 주사가 완료되고 상기 예의 그리드가 사용되었을 때, 어레이 내에는 336개의 포인트들이 있다. 최종 어레이 내에 336개의 포인트들이 있지 않으면, 휘도 임계값이 변경될 수 있고, 주사 프로세스가 반복된다.
도 2는 본 발명의 일 실시예에 따라 주사된 어레이나 최상부 좌측 보정 포인트의 위치 결정을 돕기 위해 저장된 어레이의 최대 및 최소 X 및 Y 좌표를 위치 결정하는 기술을 도시하는 간략화된 개략도이다. 도 2에서, 경계를 나타내는 박스(106)가 보정 포인트들의 어레이 둘레에 효율적으로 생성된다. 포인트들의 어레이를 구성하기 위해 어레이 내에 최상부 좌측 보정 포인트를 위치 결정하는 데, Ymin에서의 포인트가 중요하다는 것을 이해할 것이다. 즉, Ymin에서 검색된 보정 포인트나 디지털 포인트는 경계를 나타내는 박스(106) 내의 디지털 포인트들의 어레 이의 최상부 행에 위치된다. 소프트웨어가 이것이 최상부 행 상의 어느 포인트인지를 아직 인식하지 못하기 때문에, 주사 프로세스가 개시되어 Ymin에서의 현재의 포인트로부터 최상부 좌측 포인트(108)로 이동한다.
도 3은 본 발명의 일 실시예에 따라 디지털 포인트들의 어레이의 최상부 좌측 포인트를 향해 워크하기 위해 인접의 포인트들의 위치를 도시하는 간략화된 개략도이다. 알고리즘은 Ymin에 위치하는 포인트로부터 어레이 내의 가장 가까운 포인트까지의 거리를 측정한다. 이 거리(D)가 알려지면, 현재 포인트의 주변의 인접 포인트들을 정하기 위해 D의 약 1.8배의 반경이 사용된다. 당업자에게는 1.8의 배수가 다수의 변수에 의거해 변경될 수 있고, 배수는 1.8의 값에 한정되는 것을 의미하는 것이 아니라는 것이 명백하다. 알고리즘은 그 후, D(110) 내의 모든 인접하는 디지털 포인트들 즉, 포인트 1∼5를 결정하고, Ymin의 좌측에 있는 포인트, 즉, 포인트 1을 선택한다. 이 포인트는 인접 포인트들의 Ymin 미만인 X 좌표와 가장 작은 Y 좌표를 갖는 포인트로서 선택될 수 있다. 이 프로세스는 최상부 좌측 포인트가 위치할 때까지 포인트 1로부터 계속되는 것을 이해할 것이다. 이하 더욱 상세히 설명되는 바와 같이, 알고리즘은 반경 내의 인접하는 포인트들의 수를 카운트할 수 있고, 포인트들의 수가 임계값보다 적으면 주사를 정지시킬 수 있다.
도 4는 본 발명의 일 실시예에 따르는 최상부 좌측 포인트의 위치를 도시하는 간략화된 개략도이다. 여기에서, 알고리즘은 위치 결정된 포인트(108)를 갖고, 반경 내의 인접 포인트들의 수가 카운트될 때, 포인트 1A∼3A가 식별된다. 포인트 들의 수가 3개 이하이면, 소프트웨어는 주사를 정지시키고, 현재의 포인트를 원하는 최상부 좌측 포인트로 간주한다. 즉, 최상부 좌측 포인트에 도달할 때, 주변 포인트들의 수를 포인트(108)의 촤측에 더 이상 열이 없으므로 5에서 3으로 떨어뜨리고, 그것에 의해 최상부 좌측 포인트에 도달한 것을 나타낸다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따라 최상부 좌측 포인트가 위치 결정되면 포인트들의 어레이를 정렬하는 기술을 도시한다. 보정 포인트들의 어레이는 효율적으로 정렬되어 있지는 않다. 정렬되지 않은 어레이가 좌측에서 우측으로 상부에서 하부로(영어 판독과 같음) 정렬되는 새로운 정렬된 어레이로 복제된다. 포인트들이 정렬되지 않은 어레이에서 정렬된 어레이로 복제되기 때문에, 의사 원점이 각 행의 선두에 생성된다. 의사 원점이 각 행의 선두에 생성되어 어레이가 처리되고 정렬됨에 따라 각 연속적인 행의 가장 좌측 포인트를 위치 결정하는 데 도움을 준다. 도 5a에서, 포인트(1)와 가장 가까운 포인트(202)까지의 거리(200)가 계산된다. 거리(200)가 포인트(1)의 X 좌표에서 감산되어 최상부 행이 정렬되었다면 다음의 행에 대한 초기 원점으로 사용되는 의사 원점(204)(포인트 3)을 정한다. 의사 원점(204)은 다음의 행의 제1 포인트가 된다. 이후의 행에서, 의사 원점(204)이 사용되고, 가장 가까운 포인트(3P)까지의 거리(200')가 도 5b에 도시된 바와 같이 계산된다. 가장 가까운 포인트(3P)는 행의 제1 포인트가 된다. 이 행을 주사하기 전에, 거리(4P)가 계산되고 이후의 행들에 대해 새로운 의사 원점(5P)이 생성된다. 따라서, 각 행에 대해, 새로운 의사 원점이 계산된다. 이 프로세스는 각 행의 제1 포인트가 의사 원점에 가장 근접한 포인트가 되기 때문에, 각 행의 제1 포인트가 신뢰할 수 있게 탐색되는 것을 보증한다. 의사 원점의 사용이 다음의 행의 개시 포인트를 부정확하게 식별할 가능성을 최소화시키는 것을 이해할 것이다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따라 행 내의 제1 포인트가 위치 설정되면 행 내에서의 주사 프로세스를 도시한다. 본질적으로, 도 6a 및 도 6b의 실시예들은 좌측에서 우측으로 이동하는 현재의 행을 가로질러 워크(walk)한다. 그 알고리즘은 본질적으로 현재 포인트의 우측에 있고 가장 작은 Y값을 갖는 포인트들을 위치 결정한다. 행 내의 각 포인트가 위치 결정됨에 따라, 포인트가 초기에 저장된 정렬되지 않은 어레이로부터 정렬된 어레이로 이동되고, 그후 포인트는 현재 포인트가 되고 프로세스는 행을 가로질러 계속된다. 도 6a에서, 각 현재 포인트에 대해, 2개의 가장 근접한 포인트들(302 및 304)이 식별된다. 행이 좌측에서 우측으로 워킹되기(walked) 때문에, 종종 포인트(300)가 도 6b에 도시된 바와 같이 현재 포인트(290)의 우측에 위치 결정될 수 있는 것을 이해할 것이다. 이 경우에, 상술한 바와 같이, 포인트들(300 및 302)가 식별된다. 그러나, 소프트웨어는 포인트(290)의 우측에 있고 포인트(302)가 되는 가장 작은 Y값을 갖는 포인트를 선택한다. 포인트들이 탐색됨에 따라, 그들 포인트는 정렬되지 않은 어레이로부터 제거된다. 따라서, 포인트가 탐색되어 정렬된 어레이로 이동되면, 주사 프로세스와 더 이상 간섭하지 않는다. 모든 행들이 주사되면, 모든 포인트들이 정렬된 어레이로 이동되고 정렬되지 않은 어레이는 비워져 더 이상 사용되지 않는다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따르는 에지 경계 포인트들의 조정 을 도시한다. 원래의 보정 이미지가 그들의 정확한 위치에서 약간 벗어나 있는 에지 포인트들을 포함하는 것을 이해할 것이다. 이 에지 스큐잉(skewing)은 보정 그리드의 디지털 이미지를 캡쳐하는 디지털 카메라나 장치가 4개의 에지 근처의 모든 포인트들을 신뢰할 수 있게 결정할 수 있도록 행해진다. 이들 포인트가 스큐잉되지 않으면, 최상부 행과 좌측 에지 포인트들은 매우 희미해지고, 최하부 행과 우측 에지 포인트들은 볼 수도 없게 된다(그들은 논리적으로 오프 이미지이기 때문이다). 보정 이미지와 에지 스큐의 크기는 보정 소프트웨어에 알려지기 때문에, 스큐는 이 스큐로부터의 임의의 오프셋을 보상하기 위해 정정될 수 있다. 즉, 보정 이미지는 일 실시예에서 3x3 픽셀 클러스터로 이루어지는 포인트들을 포함한다. 최상부 행과 좌측 에지 포인트들은 도 7a 및 도 7c에 도시된 바와 같이 하나의 픽셀에 의해 스큐잉되지만, 최하부 행과 우측 에지는 도 7b 및 도 7d에 도시된 바와 같이 2개의 픽셀에 의해 스큐잉된다. 최상부 행 내의 포인트들의 Y 좌표는 포인트 크기의 1/3만큼 위쪽으로 조정된다(도 7a 참조). 좌측 열 내의 포인트들의 X 좌표는 포인트 크기의 1/3만큼 좌측으로 조정된다(도 7c 참조). 우측 열 내의 포인트들의 X 좌표는 포인트 크기의 2/3만큼 우측으로 조정된다(도 7b 참조). 최하부 행 내의 포인트들의 Y 좌표는 포인트 크기의 2/3만큼 아래쪽으로 조정된다(도 7d 참조). 따라서, 최상부 및 좌측 포인트들은 포인트 크기의 1/3만큼 조정될 수 있고, 최하부 및 우측 포인트들은 포인트 크기의 2/3만큼 조정될 수 있다.
이들 에지 조정은 본 발명의 일 실시예에서 정렬된 어레이 내의 포인트들에 대해 적절히 행해진다. 조정은 수직으로만 있지만(각도의 고려는 하지 않음), 조 정은 각도에 고려의 부족을 무시할 수 있을 정도로 미세하다. 에지들의 조정은 에지 포인트들이 보정 이미지에서 스큐잉된 이후에 각 에지 포인트가 있게 될 위치를 대략 예측함으로써 에지들에서의 워프 그리드를 향상시키도록 돕는다.
도 8은 본 발명의 일 실시예에 따라 여기에 설명된 실시예들을 실행할 수 있는 시스템의 간략화된 개략도이다. 칩(400)은 중앙 처리 장치(CPU)(402), 메모리(404) 및 입/출력 모듈(408)을 포함한다. CPU(402), 메모리(404) 및 입/출력 모듈(408)은 버스(410)를 통해 서로 통신하고 있다. 메모리(404)는 보정 로직(logic: 406)을 포함한다. 보정 로직(406)은 일 실시예에서 여기에 설명된 기능을 실행할 수 있는 프로그램 명령을 포함한다. 보정 로직(406)은 소프트웨어, 하드웨어 또는 양자의 어떤 조합일 수 있다. 또한, 보정 로직은 일 실시예에서 HUD를 생성하는 칩이나 그래픽 프로세서와 같은 처리 칩 상에 일체화될 수도 있다. 이와 달리, 보정 로직은 스탠드 얼론 장치에 일체화될 수 있다, 즉, HUD 모듈에 일체화되지 않을 수 있다. 당업자는 장치/기기가 다수의 구성을 가질 수 있고, 이들 구성 중 어느 하나가 여기에 설명된 실시예들에 의해 워핑된 면 상에 투사된 이미지의 효과를 위해 워핑된 면을 분석하는 기능을 제공하는 데 사용될 수 있음을 이해할 것이다. 일 실시예에서, 칩(400)은 디지털 카메라와 같은 이미지 캡쳐 장치 상에 일체화될 수 있다. 물론, 캡쳐 장치에 의해 캡쳐된 디지털 이미지가 컴퓨팅 시스템 내장 칩(400)에 제공될 수 있기 때문에, 디지털 카메라로의 일체화는 불필요하다.
도 9는 이미지가 워핑 제거된 면 상에 투사되는 것으로 인지되도록 워핑된 면 상에 투사되는 이미지를 어떻게 변경할지를 판정하는 방법 공정을 도시하는 플로우차트도이다. 그 방법은 패턴을 갖는 보정 이미지가 제1 관찰위치로부터 워핑된 면 상에 투사되는 공정(500)에서 시작한다. 여기에서, 보정 이미지는 그리드 포맷에서의 일련의 도트들일 수 있고, 여기에서 각 도트들은 도 1b 내지 도 1e에 대하여 상술한 바와 같이, 그리드의 기하학적 형상의 꼭지점이다. 그 후, 보정 이미지가 거기에 나타나는 워핑 면으로부터의 효과를 갖는 캡쳐된다. 예를 들면, 디지털 카메라가 워핑 면 상에 투사되는 보정 이미지를 촬영하는 데 사용될 수 있다. 그 방법은 그 후 패턴의 포인트들이 캡쳐된 보정 이미지의 분석을 통해 인지되는 공정(502)으로 진행한다. 일 실시예에서, 픽셀 값들이 주사되어 도 1b 내지 도 1e에 대하여 상술된 바와 같은 임계 휘도값과 비교된다. 그 방법은 그 후 어레이 내의 포인트들이 캡쳐된 보정 이미지의 패턴에 대응하도록 정렬되는 공정(504)으로 진행한다. 이 공정에서, 최상부 좌측 보정 포인트가 위치 결정되고, 각 행은 도 4 내지 6에 대하여 상술한 바와 같이 가로질러 워킹된다. 상기 언급한 바와 같이, 의사 원점은 포인트들의 어레이를 정렬하는 것을 돕도록 한정될 수 있다. 또한, 데이터의 각 행은 상기 언급한 바와 같이 가로질러 워킹될 수 있다. 다수의 관찰위치나 변경된 워핑된 면 등을 캡쳐하기 위해 공정 506에서 방법 공정의 각각을 반복함으로써 다중 보정이 실행될 수도 있다.
정렬된 어레이는 디지털 사진 절대 좌표 내에 보정 포인트 좌표를 포함한다. 일반적으로, 새로운 경계를 나타내는 박스가 계산된 후, 모든 좌표가 경계를 나타내는 박스의 최상부 좌측 코너에 있는 새로운 가상 원점으로 조정된다. 그 후, 모 든 좌표가 디지털 사진 스케일에서 이미지 스케일(일반적으로 640x480)으로 스케일링된다. 마지막으로, 좌표는, 소프트웨어가 각 보정 포인트에 대한 실제 좌표를 알기 때문에 행해질 수 있는, 일 실시예에서 오프셋(델타)으로 변환된다. 이들 단계는, 본원의 출원인과 동일한 출원인에 의해 출원되어 공동 계류 중인 미국 출원(대리인 사건번호 VP248호)에 기재되어 있는 바와 같이 보정 데이터를 사용할 수 있는 보정 소프트웨어와 워핑 제거 소프트웨어의 양자가 보정 이미지의 지식을 갖고 각 보정 포인트가 위치하는 장소를 알기 때문에, 주관적이다. 즉, 보정 데이터가 워핑 제거 소프트웨어에 어떻게 넘겨지는 지에 관한 다수의 옵션이 존재하는 것이 당업자에게는 명백하다.
도 10은 상술한 보정 기술이 본 발명의 일 실시예에 따르는 헤드 업 디스플레이(HUD) 유닛에 대한 전체 처리 내에서 알맞은 위치를 도시하는 고레벨 플로우차트도이다. 그 방법은 공정 600에서 시작하고, 여기에서 보정 이미지가 관찰위치로부터 워핑된 면 상에 투사된다. 그 방법은 그 후 공정 602로 진행하고, 여기에서 보정 이미지가 워핑된 면으로부터의 효과와 함께 캡쳐된다. 도 1a 및 도 9에 대하여 상술한 바와 같이, 디지털 포인트의 임의의 패턴이 디지털 방식으로 캡쳐될 수 있고, 도 1a는 디지털 포인트의 하나의 대표적인 패턴을 제공한다. 그 방법은 그 후 공정 604로 진행하고, 여기에서 캡쳐된 이미지의 디지털 포인트들이 캡쳐된 이미지 데이터의 분석을 통해 인지된다. 도 2∼9에 대하여 상기 논의된 바와 같이, 디지털 포인트들은 예를 들면, 워핑 제거 프로세스에서 궁극적인 사용을 위한 정렬된 어레이로 구성된다. 공정 608에서, 보정 데이터의 시각적 검증이 필요한 지의 여부가 판정된다. 시각적 검증이 필요하면, 정렬된 어레이는 디스플레이된 이미지를 워프하는 데 사용되는 오프셋 테이블에 로드되고, 시각적 검증이 공정 612에 도시된 바와 같이 일어날 수 있다. 시각적 검증이 공정 608에서 불필요하다고 판정되면, 상기 방법은 공정 610으로 진행하여 더 많은 관찰위치가 필요한지를 판정한다. 예를 들면, 차량의 운전자에 대하여, 다른 좌석 위치가 다른 관찰위치에 대응할 수 있다. 또한, 다른 운전자의 키가 다른 관찰위치를 초래할 수도 있다. 임의의 수의 다른 관찰위치가 워핑된 면 상에 이미지를 투사하는 장치를 이동시킴으로써 캡쳐될 수 있음을 이해할 것이다. 추가의 관찰위치가 필요하면, 상기 방법은 공정 600으로 리턴하여 상술한 바와 같이 반복된다. 추가의 관찰위치가 필요하지 않으면, 상기 방법은 공정 614로 이동한다. 시각적 검증은 디스플레이된 이미지가 결정 공정 613에서 특정되는 바와 같이 수락 가능한지의 여부를 판정한다. 디스플레이된 이미지가 수락 가능하면, 그 방법은 공정 610으로 진행한다. 디스플레이된 이미지가 수락 불가능하면, 그 방법은 공정 600으로 리턴하여 상술한 바와 같이 반복된다.
도 10을 참조하면, 공정 614에서 보정 프로세스로부터 초래되는 정렬된 어레이(하나 이상 있을 때) 중 하나로부터 정렬된 어레이가 선택된다. 선택된 정렬된 어레이는 그 후 공정 616에서 오프셋 테이블로 워핑 제거 알고리즘을 사용하여 처리된다. 워핑 제거 프로세서 및 공정 614 및 616에 대한 더욱 상세한 설명은 참고로 통합된 바 있는 본원의 출원인과 동일한 출원인에 의해 출원된 미국 출원(대리인 사건번호 VP248호)에서 찾을 수 있다. 공정 616으로부터, 그 방법은 공정 618 로 진행하고, 여기에서 오프셋 테이블이 사용되어 디스플레이된 이미지를 시각적으로 워프 제거하여 이미지가 워핑되지 않은 면 상에 투사된 것으로 인식된다. 도 10에 도시된 바와 같이, 공정 612와 618이 하드웨어 프로세스 내에서 일어난다. 공정 600∼610에 도시된 보정 프로세스는 본질적으로 워핑된(편평하지 않고, 정사각형이 아닌) 면의 특성을 캡쳐하고, 그 면의 영역을 동일한 간격으로 샘플링하여 그 면의 근사 수치 정량화(approximate numerical quantification)에 이른다. 면 상의 제어 포인트의 위치를 표시함으로써, 4개의 제어 포인트 예컨대, 4분면에 의해 경계가 나뉘어진 각 영역 내에 있는 모든 픽셀을 보간함으로써 초래되는 면의 왜곡을 근사하는 것이 가능해지는 것에 주의하라.
상기 실시예들을 염두에 두고, 본 발명이 컴퓨터 시스템에 저장된 데이터를 수반하는 다양한 컴퓨터로 실현되는 공정을 채용할 수 있는 것을 이해할 것이다. 이들 공정은 물리량의 물리적인 조작을 필요로 하는 것들이다. 일반적으로, 필수적인 것은 아니지만, 이들 양은 저장, 전송, 조합, 비교 및 조작될 수 있는 전기나 자기 신호의 형태를 취한다. 또한, 실행되는 조작은 종종 생성, 식별, 판정, 또는 비교와 같은 용어로 칭해진다.
발명의 일부분을 형성하는 여기에 설명된 공정들 중 어느 하나는 유용한 머신 공정이다. 본 발명은 또한 이들 공정을 실행하는 장치나 기기에 관한 것이다. 기기는 필요한 목적을 위해 특별하게 구성될 수 있거나, 기기는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 작동되거나 구성되는 범용 컴퓨터일 수 있다 특히, 여러 가지 범용 머신이 여기에 개시된 내용에 따라 기입된 컴퓨터 프로그램 과 함께 사용될 수 있거나, 필요한 공정들을 실행하기 위해 더욱 전문화된 기기를 구성하는 것이 더욱 편리할 수 있다.
본 발명은 또한 컴퓨터로 판독 가능한 매체 상의 컴퓨터로 판독 가능한 코드로서 실시될 수도 있다. 컴퓨터로 판독 가능한 매체는 이후에 컴퓨터 시스템에 의해 판독될 수 있는 데이터를 저장할 수 있는 임의의 데이터 저장 장치이다. 컴퓨터로 판독 가능한 매체의 예들은 하드 드라이브, NAS(network attached storage), 판독 전용 메모리, 랜덤 액세스 메모리, CD-ROMs, CD-Rs, CD-RWs, 자기 테이프, 및 기타 광학 및 비광학 데이터 저장 장치들을 포함한다. 컴퓨터로 판독 가능한 장치는 또한 네트워크에 연결된 컴퓨터 시스템을 통해 배포될 수 있어, 컴퓨터로 판독 가능한 코드가 배포 방식으로 저장되어 실행된다.
이상 발명을 이해를 명확하게 하기 위해 다소 상세히 설명하였지만, 첨부된 청구항의 범위 내에서 어떤 변형 및 수정이 실시될 수 있다는 것은 명백하다. 따라서, 본 실시예들은 제한하고자 하는 것이 아니라 예시적인 것으로 생각되고, 본 발명은 여기에 제공된 상세한 설명에 제한되는 것이 아니라, 첨부하는 청구항의 등가물 및 범위 내에서 변형될 수 있다.
도 1a는 본 발명의 일 실시예에 따라 디지털 방식으로 캡쳐될 수 있는 보정 포인트의 그리드를 도시하는 간략화된 개략도이다.
도 1b 내지 1e는 본 발명의 일 실시예에 따라 디지털 이미지 상에 각각의 보정 포인트들을 위치시키는 기술을 도시하는 간략화된 개략도이다.
도 2는 본 발명의 일 실시예에 따라 최상부 좌측 보정 포인트나 주사된 어레이를 위치시키는 기술을 도시하는 간략화된 개략도이다.
도 3은 디지털 포인트의 어레이의 최상부 좌측 포인트를 향해 워크하기 위해 포인트들의 인접의 위치를 도시하는 간략화된 개략도이다.
도 4는 본 발명의 일 실시예에 따라 최상부 좌측 포인트의 위치를 도시하는 간략화된 개략도이다.
도 5a 및 5b는 최상부 좌측 포인트가 위치 결정되면 포인트들의 어레이를 정렬하는 기술을 도시한다.
도 6a 및 6b는 행 내의 제1 포인트가 도 5a 및 5b를 통해 정의된 바와 같이 위치 결정되면 행 내의 주사 프로세스를 도시한다.
도 7a 내지 7d는 본 발명의 일 실시예에 따르는 에지 경계 포인트의 조정을 도시한다.
도 8은 본 발명의 일 실시예에 따라 여기에 설명하는 실시예들을 실시할 수 있는 시스템의 간략화된 개략도이다.
도 9는 이미지가 워핑 제거된 면 상에 투사되는 것으로 인지되도록 워핑된 면 상에 투사되는 이미지를 어떻게 변경할지를 판정하는 방법 공정을 도시하는 플로우차트도이다.
도 10은 상술한 보정 기술이 본 발명의 일 실시예에 따르는 헤드 업 디스플레이(HUD) 유닛에 대한 전체 처리 내에서 알맞은 위치를 도시하는 고레벨 플로우차트도이다.

Claims (29)

  1. 워핑된 면(warped surface) 상에 투사된 이미지를 조정하는 방법으로서,
    상기 워핑된 면 상에 투사된 보정 이미지 내에서 보정 포인트들을 캡쳐하는 공정;
    상기 보정 포인트들을 분석하여 상기 보정 포인트들 간의 상대적인 위치를 판정하는 공정;
    상기 상대적인 위치에 따라 상기 보정 포인트들을 정렬하는 공정; 및
    상기 정렬된 보정 포인트들을, 상기 워핑된 면 상에 투사하기 전에 상기 이미지를 변경하도록 적용하는 공정을 포함하는, 이미지 조정 방법.
  2. 청구항 1에 있어서, 상기 정렬된 보정 포인트들을, 상기 워핑된 면 상에 투사되는 상기 이미지를 조정하도록 적용하는 공정을 더 포함하는, 이미지 조정 방법.
  3. 청구항 1에 있어서, 상기 워핑된 면 상에 투사된 보정 이미지 내에서 보정 포인트들을 캡쳐하는 공정은,
    관찰자의 관찰위치로부터 상기 보정 이미지를 디지털 방식으로 촬영하는 공정을 포함하는, 이미지 조정 방법.
  4. 청구항 1에 있어서, 상기 보정 포인트들을 분석하여 상기 보정 포인트들 간의 상대적인 위치를 판정하는 공정은,
    상기 보정 이미지를 주사하여 상기 보정 포인트들의 각각을 위치 결정하는 공정; 및
    상기 보정 포인트들의 각각에 대한 위치를 나타내는 좌표를 어레이에 부가하는 공정을 포함하는, 이미지 조정 방법.
  5. 청구항 4에 있어서, 상기 보정 이미지를 주사하여 상기 보정 포인트들의 각각을 위치 결정하는 공정은,
    임계값보다 큰 휘도값을 갖는 픽셀값을 위치 결정하는 공정;
    상기 픽셀값에 대응하는 픽셀을 둘러싸는 영역을 한정하는 공정;
    상기 영역 내에서 상기 임계값보다 큰 휘도값을 갖는 각 픽셀을 식별하는 공정;
    모든 식별된 픽셀을 둘러싸는, 상기 영역 내에 한정된 크로핑 박스(cropping box)를 계산하는 공정;
    상기 크로핑 박스의 중심을 식별하는 공정; 및
    상기 보정 포인트들 중 하나에 대해 상기 크로핑 박스의 상기 중심의 좌표를 할당하는 공정을 포함하는, 이미지 조정 방법.
  6. 청구항 5에 있어서, 상기 임계값보다 큰 휘도를 갖는 각 픽셀에 대한 값은 식별 후에 상기 임계값 미만으로 리셋되는, 이미지 조정 방법.
  7. 청구항 1에 있어서, 상기 상대적인 위치에 따라 상기 보정 포인트들을 정렬하는 공정은,
    a) 최소 Y 좌표를 갖는 보정 포인트를 식별하는 공정;
    b) 최소 Y 좌표를 갖는 상기 보정 포인트와 최소 Y 좌표를 갖는 상기 보정 포인트에 가장 가까운 포인트 사이의 거리를 판정하는 공정;
    c) 상기 거리의 배수 내의 모든 보정 포인트들을 식별하는 공정; 및
    d) 상기 거리의 배수 내의 상기 보정 포인트들 중 어느 것이 상기 보정 포인트의 X 좌표 미만인 X 좌표와 최소 Y 좌표값을 갖는지를 판정하는 공정을 포함하는, 이미지 조정 방법.
  8. 청구항 7에 있어서,
    상기 거리의 배수 내의 모든 보정 포인트들이 보정 포인트 임계값 미만이 될 때까지 a)∼d)를 계속하는 공정을 더 포함하는, 이미지 조정 방법.
  9. 청구항 8에 있어서, 상기 보정 포인트 임계값은 3 이하인, 이미지 조정 방법.
  10. 청구항 1에 있어서, 상기 상대적인 위치에 따라 상기 보정 포인트들을 정렬 하는 공정은,
    다음 행의 가장 좌측 포인트를 위치 결정하는 데 사용하는 최상부 행의 가장 좌측 포인트에 근사하는 의사 원점을 한정하는 공정; 및
    연속적인 행들에 대해 상기 한정을 반복하는 공정을 포함하는, 이미지 조정 방법.
  11. 청구항 10에 있어서,
    각 행을 워킹(walking)하여 대응하는 행 내의 보정 포인트들의 상대적인 위치를 판정하는 공정을 더 포함하고, 상기 대응하는 행 내의 상기 보정 포인트들의 각각이 위치 결정됨에 따라, 각각의 보정 포인트 식별자들이 정렬되지 않은 어레이로부터 정렬된 어레이로 이동되는, 이미지 조정 방법.
  12. 청구항 1에 있어서, 상기 상대적인 위치에 따라 상기 보정 포인트들을 정렬하는 공정은,
    상기 분석을 통해 판정된 상기 보정 포인트들의 상대적인 위치를 나타내는 데이터를 정렬되지 않은 어레이로부터 정렬된 어레이로 전송하는 공정; 및
    상기 정렬된 어레이 내의 상기 상대적인 위치를 나타내는 상기 데이터를 상기 보정 포인트들의 좌표로부터의 오프셋으로 변환하는 공정을 포함하는, 이미지 조정 방법.
  13. 청구항 1에 있어서, 상기 상대적인 위치에 따라 상기 보정 포인트들을 정렬하는 공정은,
    상기 캡쳐된 보정 포인트들에 여분의 열과 여분의 행의 추가로 인해 도입되는 에지 스큐를 보상하도록 상기 투사된 이미지의 외부 에지를 따라 보정 포인트들의 좌표를 조정하는 공정을 포함하는, 이미지 조정 방법.
  14. 이미지가 워핑되지 않은 면 상에 투사되는 것으로 인지되도록 워핑된 면 상에 투사되는 이미지를 어떻게 변경할지를 판정하는 방법으로서,
    제1 관찰위치에서 상기 워핑된 면 상에 패턴을 갖는 보정 이미지를 투사하는 공정;
    상기 워핑된 면으로부터의 효과를 갖는 상기 보정 이미지를 캡쳐하는 공정;
    상기 캡쳐된 보정 이미지의 분석을 통해 상기 패턴의 포인트들을 인식하는 공정;
    상기 캡쳐된 보정 이미지의 상기 패턴에 대응하도록 어레이 내의 상기 포인트들을 정렬하는 공정;
    제2 관찰위치에서 상기 공정의 각각을 반복하는 공정;
    상기 제1 관찰위치에서의 상기 어레이 또는 상기 제2 관찰위치에서의 상기 어레이 중 하나를 대응하는 관찰위치에서 투사되는 이미지 데이터로 처리하여, 상기 이미지가 워핑되지 않은 면 상에 투사되는 것으로 인식되게 하는 공정을 포함하는, 판정 방법.
  15. 청구항 14에 있어서, 상기 패턴은 그리드 상의 도트들(dots)인, 판정 방법.
  16. 청구항 14에 있어서, 상기 워핑된 면은 차량의 윈드실드(windshield)인, 판정 방법.
  17. 청구항 14에 있어서, 상기 패턴의 포인트들은 상기 각각의 포인트들의 휘도값과 임계 휘도값의 비교를 통해 인식되는, 판정 방법.
  18. 청구항 14에 있어서, 상기 캡쳐된 보정 이미지의 상기 패턴에 대응하도록 어레이 내의 포인트들을 정렬하는 상기 공정은,
    a) 상기 캡쳐된 보정 이미지의 최상부 좌측 포인트를 위치 결정하는 공정;
    b) 상기 보정 이미지의 최상부 행 내의 연속적인 포인트들을 위치 결정하는 공정;
    c) 상기 보정 이미지의 연속적인 행들에 대해 a) 및 b)를 반복하는 공정; 및
    상기 캡쳐된 보정 이미지에 대응하는 정렬된 어레이 내의 위치 결정된 연속적인 포인트를 나타내는 데이터를 저장하는 공정을 포함하는, 판정 방법.
  19. 청구항 14에 있어서, 상기 캡쳐된 보정 이미지의 상기 패턴에 대응하도록 어레이 내의 포인트들을 정렬하는 상기 공정은,
    상기 캡쳐된 보정 이미지의 최상부 좌측 포인트를 위치 결정하는 공정;
    상기 최상부 좌측 포인트로부터 가장 가까운 포인트까지의 거리를 계산하는 공정;
    상기 최상부 좌측 포인트로부터의 상기 거리에 의사 원점을 한정하는 공정; 및
    상기 의사 원점으로부터 다음의 행의 최상부 좌측 포인트를 위치 결정하는 공정을 포함하는, 판정 방법.
  20. 청구항 19에 있어서,
    상기 의사 원점을 한정한 후에 정렬되지 않은 어레이로부터 상기 최상부 좌측 포인트를 삭제하는 공정; 및
    상기 최상부 좌측 포인트로부터 상기 거리를 감산하여 상기 의사 원점을 한정하는 공정을 더 포함하는, 판정 방법.
  21. 청구항 14에 있어서, 상기 공정들의 각각은 컴퓨터로 판독 가능한 매체 상에서 프로그램 명령들로 구현되는, 판정 방법.
  22. 곡면 상에 포인트들의 상대적인 위치를 한정하는 시스템으로서,
    상기 곡면 상에 패터닝된 이미지를 투사하는 이미지 생성 장치;
    상기 곡면 상에 투사되는 상기 패터닝된 이미지를 디지털 방식으로 캡쳐하는 이미지 캡쳐 장치;
    프로세서와 메모리를 갖는 컴퓨팅 시스템을 포함하며, 상기 메모리는 상기 디지털 방식으로 캡쳐된 패터닝된 이미지의 디지털 포인트들을 인식하는 보정 로직을 포함하고, 상기 보정 로직은 또한 상기 디지털 방식으로 캡쳐된 패터닝된 이미지의 최상부 좌측 디지털 포인트를 식별하여 최상부 행과 각 연속적인 행에서의 나머지 디지털 포인트들의 각각을 정렬하는, 곡면 상에 포인트들의 상대적인 위치를 한정하는 시스템.
  23. 청구항 22에 있어서, 상기 패터닝된 이미지는 그리드이고, 상기 디지털 포인트들은 상기 그리드의 꼭지점들인, 곡면 상에 포인트들의 상대적인 위치를 한정하는 시스템.
  24. 청구항 22에 있어서, 상기 컴퓨팅 시스템은 상기 이미지 캡쳐 장치 내에 일체화되는, 곡면 상에 포인트들의 상대적인 위치를 한정하는 시스템.
  25. 청구항 22에 있어서, 상기 보정 로직은 픽셀 영역 내의 최소 수의 인접 픽셀들과 최소 Y 좌표를 갖는 디지털 포인트를 식별함으로써 상기 최상부 좌측 디지털 포인트를 위치 결정하는, 곡면 상에 포인트들의 상대적인 위치를 한정하는 시스템.
  26. 청구항 23에 있어서, 상기 보정 로직은 상기 최상부 좌측 디지털 포인트를 위치 결정한 후 의사 원점을 생성하고, 상기 의사 원점은 다음 행의 최상부 좌측 디지털 포인트를 위치 결정하는 데 사용되는, 곡면 상에 포인트들의 상대적인 위치를 한정하는 시스템.
  27. 청구항 22에 있어서, 상기 정렬은, 정렬되지 않은 어레이에서 정렬된 어레이로 상기 디지털 포인트들의 위치를 나타내는 값들을 전송하고 전송 시에 상기 정렬되지 않은 어레이에서 상기 디지털 포인트들을 삭제함으로써 유지되는, 곡면 상에 포인트들의 상대적인 위치를 한정하는 시스템.
  28. 청구항 22에 있어서, 상기 이미지 캡쳐 장치는 상이한 관찰위치에서 투사되는 복수의 이미지를 캡쳐하고, 상기 복수의 이미지의 각각에 대해 정렬된 어레이를 유지하는, 곡면 상에 포인트들의 상대적인 위치를 한정하는 시스템.
  29. 청구항 27에 있어서, 상기 위치를 나타내는 값들은 오프셋으로 저장되는, 곡면 상에 포인트들의 상대적인 위치를 한정하는 시스템.
KR1020070104039A 2006-10-17 2007-10-16 헤드업 디스플레이 시스템용 보정 기술 KR20080034797A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/550,180 2006-10-17
US11/550,180 US7835592B2 (en) 2006-10-17 2006-10-17 Calibration technique for heads up display system

Publications (1)

Publication Number Publication Date
KR20080034797A true KR20080034797A (ko) 2008-04-22

Family

ID=39303175

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070104039A KR20080034797A (ko) 2006-10-17 2007-10-16 헤드업 디스플레이 시스템용 보정 기술

Country Status (5)

Country Link
US (1) US7835592B2 (ko)
JP (1) JP4618287B2 (ko)
KR (1) KR20080034797A (ko)
CN (1) CN101166288B (ko)
TW (1) TWI357985B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100942248B1 (ko) * 2008-06-23 2010-02-16 이화여자대학교 산학협력단 워터 마킹 패턴을 이용한 영상의 기하학적 왜곡 보정 방법
KR101007149B1 (ko) * 2009-08-24 2011-01-12 주식회사 우신산업 광각 카메라의 교정을 위한 워핑 포인트 추출 방법 및 차량 탑뷰 이미지 획득방법
WO2017112231A3 (en) * 2015-12-21 2018-02-22 Intel Corporation Two-dimensional piecewise approximation to compress image warping fields

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI381825B (zh) * 2009-07-30 2013-01-11 Accumis Inc 影像之區域分析方法
US20120038663A1 (en) * 2010-08-12 2012-02-16 Harald Gustafsson Composition of a Digital Image for Display on a Transparent Screen
WO2013125138A1 (ja) 2012-02-22 2013-08-29 ソニー株式会社 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム
JP6065656B2 (ja) * 2012-05-22 2017-01-25 株式会社リコー パターン処理装置、パターン処理方法、パターン処理プログラム
GB201308086D0 (en) * 2013-05-03 2013-06-12 Micro Nav Ltd Display system
JP2013240057A (ja) * 2013-05-30 2013-11-28 Denso Corp ヘッドアップディスプレイ装置の調整方法
DE102013212667A1 (de) * 2013-06-28 2014-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum Darstellen eines dreidimensionalen Bildes unter Verwendung eines Bildgebers einer Blickfeldanzeigeeinrichtung für ein Fahrzeug
DE102013219556A1 (de) 2013-09-27 2015-04-02 Continental Automotive Gmbh Verfahren und Vorrichtung zur Steuerung einer Bilderzeugungseinrichtung eines Head-Up-Displays
CN104296732B (zh) * 2013-11-29 2017-01-11 中国航空工业集团公司洛阳电光设备研究所 一种用于吊装式平视显示器的自动化校靶方法
CN103686107B (zh) * 2013-12-13 2017-01-25 华为技术有限公司 一种基于投影图像的处理方法及装置
CN103868501A (zh) * 2014-03-25 2014-06-18 西北工业大学 一种视觉测量用接触式主动发光平面标识装置
DE102014208664A1 (de) * 2014-05-08 2015-11-12 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges
JP6427961B2 (ja) 2014-05-30 2018-11-28 セイコーエプソン株式会社 画像処理装置、表示装置、画像処理方法およびプログラム
CN105636830A (zh) * 2014-10-22 2016-06-01 深圳瀚飞科技开发有限公司 车用后视投影仪
CN105301777B (zh) * 2015-12-05 2018-06-26 中国航空工业集团公司洛阳电光设备研究所 一种平显调校方法和专用于实施该方法的装置
JP6446595B2 (ja) * 2016-02-22 2018-12-26 富士フイルム株式会社 投写型表示装置、投写表示方法、及び、投写表示プログラム
TWI586173B (zh) * 2016-07-14 2017-06-01 張修誠 投影系統及投影影像的修正方法
CN106447736B (zh) * 2016-11-23 2019-05-31 安徽慧视金瞳科技有限公司 一种基于逐行划分的多标定点检测方法
US10244215B2 (en) 2016-11-29 2019-03-26 Microsoft Technology Licensing, Llc Re-projecting flat projections of pictures of panoramic video for rendering by application
US10244200B2 (en) 2016-11-29 2019-03-26 Microsoft Technology Licensing, Llc View-dependent operations during playback of panoramic video
DE102016225353A1 (de) * 2016-12-16 2018-06-21 Continental Automotive Gmbh Verfahren zum Anpassen eines von einer Bilderzeugungseinheit erzeugten Bildes und Head-up Display zur Ausführung des Verfahrens
US10242714B2 (en) 2016-12-19 2019-03-26 Microsoft Technology Licensing, Llc Interface for application-specified playback of panoramic video
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
DE102017004859B4 (de) 2017-05-19 2019-03-14 Daimler Ag Verfahren zum Kalibrieren einer Projektionsgeometrie eines Head-Up Displays und zugehörige Kalibriervorrichtung
CN107576483B (zh) * 2017-09-13 2019-03-19 上海伟世通汽车电子系统有限公司 用于汽车hud仪表测试的相机校准设备及其方法
DE102017216822A1 (de) * 2017-09-22 2019-03-28 Continental Automotive Gmbh Vorrichtung und Verfahren zum Anpassen einer Bildverarbeitung basierend auf einer Form einer Anzeigeneinrichtung für ein Kraftfahrzeug
CN108171673B (zh) * 2018-01-12 2024-01-23 京东方科技集团股份有限公司 图像处理方法、装置、车载抬头显示系统及车辆
JP7180079B2 (ja) * 2018-02-28 2022-11-30 セイコーエプソン株式会社 回路装置及び電子機器
CN108444448B (zh) * 2018-04-09 2021-05-25 京东方科技集团股份有限公司 一种测试方法及装置
CN110365952B (zh) 2018-04-11 2022-05-31 京东方科技集团股份有限公司 一种用于投射显示装置的视角测试方法和测试系统
US10764494B2 (en) 2018-05-25 2020-09-01 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using composite pictures
US10666863B2 (en) 2018-05-25 2020-05-26 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using overlapping partitioned sections
CN110784690B (zh) * 2018-07-30 2022-05-10 中强光电股份有限公司 投影系统及投影方法
CN110784692B (zh) 2018-07-31 2022-07-05 中强光电股份有限公司 投影装置、投影系统及影像校正方法
CN108989794B (zh) * 2018-08-01 2020-11-03 张家港康得新光电材料有限公司 基于抬头显示系统的虚像信息测量方法及系统
DE102018213269A1 (de) 2018-08-08 2020-02-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben einer Blickfeldanzeigevorrichtung für ein Kraftfahr-zeug
CN109706068B (zh) * 2019-03-01 2022-07-26 赛纳生物科技(北京)有限公司 一种带有定位标的基因测序芯片
CN110341834A (zh) * 2019-08-13 2019-10-18 杭州炽云科技有限公司 一种优化用于抬头显示系统成像的汽车挡风玻璃的方法
US10996481B1 (en) * 2019-11-19 2021-05-04 GM Global Technology Operations LLC Head-up display calibration
CN113747131A (zh) * 2020-05-29 2021-12-03 中强光电股份有限公司 投影系统及其自适应性调整方法

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3723805A (en) * 1971-05-12 1973-03-27 Us Navy Distortion correction system
US4880287A (en) * 1987-01-06 1989-11-14 Hughes Aircraft Company Complex conjugate hologram display
FR2660090B1 (fr) * 1990-03-23 1994-07-29 Thomson Csf Dispositif de visualisation par projection a boucle de contre-reaction pour la correction de l'ensemble des defauts de l'image projetee.
JP3409330B2 (ja) * 1991-02-08 2003-05-26 ソニー株式会社 投射型表示装置の調整装置および調整方法
US5990941A (en) * 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
US5315668A (en) * 1991-11-27 1994-05-24 The United States Of America As Represented By The Secretary Of The Air Force Offline text recognition without intraword character segmentation based on two-dimensional low frequency discrete Fourier transforms
EP0631167B1 (en) 1992-12-14 2005-02-16 Denso Corporation Image display
US5499139A (en) * 1993-10-01 1996-03-12 Hughes Aircraft Company Ultra-wide field of view, broad spectral band helmet visor display optical system
JPH07131802A (ja) * 1993-11-05 1995-05-19 Matsushita Electric Ind Co Ltd 画像補正装置
US5796426A (en) * 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
JP3735158B2 (ja) * 1996-06-06 2006-01-18 オリンパス株式会社 画像投影システム、画像処理装置
JPH10149085A (ja) * 1996-11-20 1998-06-02 Asahi Glass Co Ltd ホログラフィック表示装置
DE19737374C2 (de) * 1997-08-27 1999-09-02 Ldt Gmbh & Co Verfahren zur Kompensation geometrischer Bildfehler bei Videobildern sowie ein Projektor zur Durchführung des Verfahrens
JP3667105B2 (ja) * 1997-10-01 2005-07-06 松下電器産業株式会社 動きベクトル検出方法及びその方法を実施する装置
WO1999056249A1 (en) * 1998-04-27 1999-11-04 Interactive Silicon, Inc. Graphics system and method for rendering independent 2d and 3d objects
US6456340B1 (en) * 1998-08-12 2002-09-24 Pixonics, Llc Apparatus and method for performing image transforms in a digital display system
JP4374468B2 (ja) * 1999-02-04 2009-12-02 独立行政法人情報通信研究機構 画像処理装置及び画像処理方法
US6292171B1 (en) * 1999-03-31 2001-09-18 Seiko Epson Corporation Method and apparatus for calibrating a computer-generated projected image
JP4507307B2 (ja) * 1999-09-16 2010-07-21 独立行政法人科学技術振興機構 映像投影装置
AU2001272006A1 (en) * 2000-06-09 2001-12-17 Interactive Imaging Systems, Inc. A method and apparatus for mapping images and video to create navigable, immersive video and images
US7151562B1 (en) * 2000-08-03 2006-12-19 Koninklijke Philips Electronics N.V. Method and apparatus for external calibration of a camera via a graphical user interface
US6774869B2 (en) * 2000-12-22 2004-08-10 Board Of Trustees Operating Michigan State University Teleportal face-to-face system
US20020130953A1 (en) 2001-03-13 2002-09-19 John Riconda Enhanced display of environmental navigation features to vehicle operator
US6771423B2 (en) * 2001-05-07 2004-08-03 Richard Geist Head-mounted virtual display apparatus with a near-eye light deflecting element in the peripheral field of view
FR2827459B1 (fr) * 2001-07-12 2004-10-29 Poseidon Procede et systeme pour fournir a des logiciels de traitement d'image des informations formatees liees aux caracteristiques des appareils de capture d'image et/ou des moyens de restitution d'image
US20030030597A1 (en) * 2001-08-13 2003-02-13 Geist Richard Edwin Virtual display apparatus for mobile activities
US6503201B1 (en) * 2001-10-03 2003-01-07 Koninklijke Philips Electronics N.V. Correction of extended field of view images for distortion due to scanhead motion
US20030085848A1 (en) * 2001-11-08 2003-05-08 James Deppe Method for initialization and stabilization of distortion correction in a head up display unit
US6850211B2 (en) * 2001-11-08 2005-02-01 James Deppe Method for aligning a lens train assembly within a head-up display unit
US7229174B2 (en) * 2002-03-28 2007-06-12 Nokia Corporation Method to detect misalignment and distortion in near-eye displays
US7145726B2 (en) * 2002-08-12 2006-12-05 Richard Geist Head-mounted virtual display apparatus for mobile activities
EP1556805B1 (en) * 2002-10-22 2011-08-24 Artoolworks Tracking a surface in a 3-dimensional scene using natural visual features of the surface
US7215362B2 (en) * 2002-10-31 2007-05-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Auto-calibration of multi-projector systems
JP2004228619A (ja) * 2003-01-17 2004-08-12 Nec Viewtechnology Ltd プロジェクタの映像の歪み調整方法
KR100525425B1 (ko) * 2003-02-04 2005-11-02 엘지전자 주식회사 영상 워핑 방법 및 장치
US7224849B2 (en) * 2003-02-07 2007-05-29 Eastman Kodak Company Method for determining an optimum gain response in a spatial frequency response correction for a projection system
US7529424B2 (en) * 2003-05-02 2009-05-05 Grandeye, Ltd. Correction of optical distortion by image processing
US7001023B2 (en) * 2003-08-06 2006-02-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for calibrating projectors to arbitrarily shaped surfaces with discrete optical sensors mounted at the surfaces
US7227592B2 (en) * 2003-09-26 2007-06-05 Mitsubishi Electric Research Laboratories, Inc. Self-correcting rear projection television
JP2005202145A (ja) * 2004-01-15 2005-07-28 Olympus Corp 車載用ヘッドアップディスプレイ、それを備えた車両、及び車載用ヘッドアップディスプレイを備えた車両の製造方法
US7023536B2 (en) * 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
CN100341029C (zh) * 2004-07-02 2007-10-03 四川华控图形科技有限公司 仿真现场的曲面投影几何校正方法
JP4588384B2 (ja) * 2004-08-03 2010-12-01 矢崎総業株式会社 ディスプレイ装置
US20070091277A1 (en) * 2005-10-26 2007-04-26 Niranjan Damera-Venkata Luminance based multiple projector system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100942248B1 (ko) * 2008-06-23 2010-02-16 이화여자대학교 산학협력단 워터 마킹 패턴을 이용한 영상의 기하학적 왜곡 보정 방법
KR101007149B1 (ko) * 2009-08-24 2011-01-12 주식회사 우신산업 광각 카메라의 교정을 위한 워핑 포인트 추출 방법 및 차량 탑뷰 이미지 획득방법
WO2017112231A3 (en) * 2015-12-21 2018-02-22 Intel Corporation Two-dimensional piecewise approximation to compress image warping fields

Also Published As

Publication number Publication date
US20080089611A1 (en) 2008-04-17
JP4618287B2 (ja) 2011-01-26
TW200829956A (en) 2008-07-16
CN101166288B (zh) 2010-10-06
TWI357985B (en) 2012-02-11
JP2008102931A (ja) 2008-05-01
CN101166288A (zh) 2008-04-23
US7835592B2 (en) 2010-11-16

Similar Documents

Publication Publication Date Title
KR20080034797A (ko) 헤드업 디스플레이 시스템용 보정 기술
US8457403B2 (en) Method of detecting and correcting digital images of books in the book spine area
JP3376077B2 (ja) 歪修正装置、歪修正方法及び画像処理装置
US20190166339A1 (en) Camera-assisted arbitrary surface characterization and slope-based correction
US20070091334A1 (en) Method of calculating correction data for correcting display characteristic, program for calculating correction data for correcting display characteristic and apparatus for calculating correction data for correcting display characteristic
JP5256899B2 (ja) 画像補正装置、画像補正方法、プロジェクタおよびプロジェクションシステム
US20190146313A1 (en) Camera-assisted arbitrary surface characterization and correction
WO2012172817A1 (en) Image stabilization apparatus, image stabilization method, and document
EP3791356B1 (en) Perspective distortion correction on faces
CN113160043A (zh) 一种柔性显示屏的mura处理方法及装置
US8908988B2 (en) Method and system for recovering a code image including blurring
US20070065043A1 (en) Image processing method, image processing device and program
US5887083A (en) Method of processing image information based on object model
CN115205138A (zh) 图像畸变的矫正方法和系统
CN114120343A (zh) 证件图像质量评估方法及终端
JPH06281421A (ja) 画像処理方法
US20180018760A1 (en) Image Projection System and Calibration Method of Projected Image
CN113269728B (zh) 视觉巡边方法、设备、可读存储介质及程序产品
CN111681161B (zh) 折叠二维码图像的还原方法、设备及计算机可读存储介质
CN112767472B (zh) 定位显示屏图像中灯珠的方法、计算设备及存储介质
WO2021075314A1 (ja) 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体
JP2006107018A (ja) 画像解析方法及び装置、画像処理方法及びシステム、これらの動作プログラム
EP4087228A1 (en) Image processing method, program and image processing device
JP6719257B2 (ja) プリントシステムおよび印刷用画像加工方法
JP2024046817A (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
NORF Unpaid initial registration fee