JPWO2017061213A1 - 投射型表示装置および画像補正方法 - Google Patents

投射型表示装置および画像補正方法 Download PDF

Info

Publication number
JPWO2017061213A1
JPWO2017061213A1 JP2017544421A JP2017544421A JPWO2017061213A1 JP WO2017061213 A1 JPWO2017061213 A1 JP WO2017061213A1 JP 2017544421 A JP2017544421 A JP 2017544421A JP 2017544421 A JP2017544421 A JP 2017544421A JP WO2017061213 A1 JPWO2017061213 A1 JP WO2017061213A1
Authority
JP
Japan
Prior art keywords
image
projection
linear light
unit
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017544421A
Other languages
English (en)
Other versions
JP6809477B2 (ja
Inventor
淳弘 千葉
淳弘 千葉
将弘 高田
将弘 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017061213A1 publication Critical patent/JPWO2017061213A1/ja
Application granted granted Critical
Publication of JP6809477B2 publication Critical patent/JP6809477B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/48Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/26Projecting separately subsidiary matter simultaneously with main image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0693Calibration of display systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)

Abstract

投射型表示装置は、画像を表示する画像表示素子と、画像表示素子により表示された画像を投射面に向けて投射する投射部と、投射面に対し、投射面内の第1の方向に沿って延伸する線状光を、投射光よりも浅い入射角度で照射する光照射部と、光照射部とは異なる光軸を有すると共に投射面を撮影する撮像部と、撮像部から出力される撮像信号に対して信号処理を施す信号処理部とを備える。撮像部は、光照射部により照射された線状光を撮影し、信号処理部は、線状光の撮影画像に基づいて投射される画像の歪みを補正する。

Description

本開示は、撮像機能を有する投射型表示装置および画像補正方法に関する。
短焦点(超短焦点)プロジェクタと呼ばれる投射型表示装置では、極めて短い投射距離で大画面かつ高精細な映像を投射表示することが可能である。このため、ユーザが画面(投射面)に近づいた場合にも、ユーザの影などが投射面に映り込みにくく、また臨場感のある映像表示を実現することができる。例えば、居間などの壁面へ大画面映像を投影可能となり、日常空間における新たな映像表示技術として注目されている。
一方で、このような投射型表示装置は、投射面に対して浅い角度から映像が投射されるため、投射面におけるわずかな変位(非平坦性、凹凸、段差等)の影響で、投射された画像に歪み(変形)が生じる。例えば一般家屋の壁面は、構造上、完全に平坦であることは少ない。このような平坦でない面を投射面とする場合などに、投射画像の歪みを補正し、目立たなくすることのできる機能の実現が望まれている。
そこで、歪み校正用のパターン画像を投射して、投射されたパターン画像を別途カメラで撮影し、その撮影画像から歪みを算出して投射画像を補正する手法が提案されている(例えば、特許文献1)。また、投射画像を補正する技術としては、投射型表示装置本体に搭載されたカメラによりパターン画像を撮影し、その撮影画像に基づいて、投影画面の形状補正(台形補正)を行う方法(特許文献2)などがある。
特開2013−172444号公報 特開2010−72422号公報
しかしながら、上記特許文献1の手法では、ユーザがカメラを設置したり、撮影したりしなければならず、利便性に欠ける。また、特許文献2の装置構成では、投射面の非平坦性に起因する歪みを検出することは困難である。利便性を保ちつつ、投射画像の歪みを補正して表示画質を向上させることが可能な手法の実現が望まれている。
利便性を保ちつつ、投射画像の画質を向上させることが可能な投射型表示装置および画像補正方法を提供することが望ましい。
本開示の一実施の形態の投射型表示装置は、画像を表示する画像表示素子と、画像表示素子により表示された画像を投射面に向けて投射する投射部と、投射面に対し、投射面内の第1の方向に沿って延伸する線状光を、投射光よりも浅い入射角度で照射する光照射部と、光照射部とは異なる光軸を有すると共に投射面を撮影する撮像部と、撮像部から出力される撮像信号に対して信号処理を施す信号処理部とを備える。撮像部は、投射面に照射された線状光を撮影し、信号処理部は、線状光の撮影画像に基づいて投射される画像の歪みを補正する。
本開示の一実施の形態の投射型表示装置では、光照射部が投射面に対し、投射光よりも浅い入射角度で所定の線状光を照射し、この線状光を、光照射部とは異なる光軸を有する撮像部が撮影する。信号処理部が、線状光の撮影画像に基づいて投射される画像の歪みを補正する。これにより、ユーザがカメラを設置したり撮影したりすることなく、投射面の非平坦性に起因する画像の歪みを補正することができる。
本開示の一実施の形態の画像補正方法は、投射面に向けて投射する画像を補正する際に、投射面に対し、投射面内の第1の方向に沿って延伸する線状光を、投射光よりも浅い入射角度で照射し、投射面に照射された線状光を線状光とは異なる光路から撮影し、線状光の撮影画像に基づいて、投射される画像の歪みを補正する。
本開示の一実施の形態の画像補正方法では、投射面に対し、投射光よりも浅い入射角度で所定の線状光を照射し、この線状光を線状光と異なる光路から撮影する。線状光の撮影画像に基づいて投射される画像の歪みを補正することにより、ユーザがカメラを設置したり撮影したりすることなく、投射面の非平坦性に起因する画像の歪みを補正することができる。
本開示の一実施の形態の投射型表示装置によれば、光照射部が投射面に対し、投射光よりも浅い入射角度で所定の線状光を照射し、光照射部とは異なる光軸を有する撮影部がその線状光を撮影し、信号処理部が、線状光の撮影画像に基づいて投射される画像の歪みを補正する。これにより、利便性を保ちつつ、投射画像の画質を向上させることが可能となる。
本開示の一実施の形態の画像補正方法によれば、投射面に対し、投射光の入射角度よりも浅い入射角度で所定の線状光を照射し、その線状光を線状光とは異なる光路から撮影し、線状光の撮影画像に基づいて投射される画像の歪みを補正する。これにより、利便性を保ちつつ、投射画像の画質を向上させることが可能となる。
なお、上記内容は本開示の一例である。本開示の効果は、上述したものに限らず、他の異なる効果であってもよいし、更に他の効果を含んでいてもよい。
本開示の一実施の形態に係る投射型表示装置の概略構成とその使用状態とを示す側面図である。 図1に示した投射型表示装置の概略構成を表す斜視図である。 図1に示した投射型表示装置の機能ブロック図である。 投射面の非平坦性に起因する投射画像の歪みについて説明するための模式図である。 壁面の構造を説明するための斜視図である。 壁面の構造を説明するための斜視図である。 画像補正動作の流れを表す図である。 パターン画像の一例を表す模式図である。 パターン画像と線状光との撮影画像を表す模式図である。 基準線の設定動作および差分値の算出動作を説明するための模式図である。 投射画像の歪み推定時の演算処理で用いるパラメータを示す図である。 投射光撮影時のパラメータの数値例を示した図である。 図11Aの上端位置付近の拡大図である。 線状光撮影時のパラメータの数値例を示した図である。 変形例に係る投射型表示装置の構成とその使用状態と示す側面図である。
以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
1.実施の形態(投射光の入射角度よりも浅い入射角度で照射した線状光の撮影画像に基づいて、投射画像の歪み補正を行う投射型表示装置の例)
2.変形例(線状光を複数位置に照射し、各照射位置に対応する領域毎に画像補正を行う場合の例)
<実施の形態>
[構成]
図1および図2は、本開示の一実施の形態に係る投射型表示装置(投射型表示装置1)の構成とその使用状態とを表したものである。また、図3は、投射型表示装置1の機能構成を表したものである。尚、図1および図2では、XY平面を投射面A、XZ平面を設置面Bとし、X方向が例えば水平方向、Y方向が例えば鉛直方向に相当する。
投射型表示装置1は、例えば部屋の壁面などの投射面Aに向けて、短い投射距離で映像を投射するタイプ(いわゆる短焦点型または超短焦点型)のプロジェクタである。投射型表示装置1は、投射面Aの近傍に設置された状態で使用される。ここでは、投射面Aの近傍の床や台等の設置面Bに設置されて使用される例を示す。但し、投射面Aは壁面に限定されず、他の非平坦性をもつ面、特に一定の方向に沿って凹凸を有する面を投射面Aとすることができる。
この投射型表示装置1は、図3に示したように、例えば投射部10と、撮像部20と、光照射部30と、制御部40と、映像信号処理部41と、画像表示素子42と、撮像信号処理部43と記憶部47とを備えている。これらの投射部10と、撮像部20、光照射部30、制御部40、映像信号処理部41、画像表示素子42、撮像信号処理部43および記憶部47は、例えば1つの外筐(筐体11)により覆われている(筐体11内に収容されている)。尚、本実施の形態の撮像信号処理部43との映像信号処理部41とが、本開示における「信号処理部」の一具体例に相当する。但し、これらの構成要素のうちの一部が筐体11から露出して搭載されていてもよいし、筐体11の外側に設置されていても構わない。以下、各部の具体的な構成について説明する。
投射部10は、画像表示素子42により表示された画像を、投射面Aへ向けて投射(例えば拡大投射)するものであり、例えば投射光学系10Aと、反射ミラー110とを有している。投射光学系10Aは、例えば投射レンズユニットを含んで構成されている。反射ミラー110は、投射光学系10Aからの出射光の光路を変換して投射面Aへ導くものである。この反射ミラー110において反射された光が投射光L1となる。尚、投射光学系10Aのレイアウトによっては、反射ミラー110は設置されていなくともよい。また、投射部10は、これらの投射光学系10Aおよび反射ミラー110の他にも、図示しない光源、照明光学系、色分離光学系および色合成光学系を含んでいてもよい。例えば、画像表示素子42が、液晶表示素子などである場合には、投射部10は光源を備え、この光源と投射光学系10Aとの間の光路上に、例えば照明光学系、色分離光学系、画像表示素子42および色合成光学系をこの順に備える。画像表示素子42が、有機電界発光素子などの自発光素子である場合には、投射部10は特に光源および照明光学系を備えていなくともよい。
投射レンズユニットは、例えば、スローレシオ(Throw Ratio)が小さい短焦点レンズを含む。ここで、スローレシオとは、投射レンズユニットから投射面Aまでの距離(投射距離)をL、投射可能な映像範囲(投射範囲B1,投射画面)の幅(X方向に沿った幅)をHとすると、L/Hで表される。投射範囲B1のうち、投射面Aに対する投射光L1の仰角a1が最も大きくなる位置を上端位置p1、仰角a1が最も小さくなる位置を下端位置p2とする。また、後述の補正処理の際には、投射範囲B1に、補正用のパターン画像を投射する。
撮像部20は、例えば撮像素子と各種光学素子とを含んで構成され、投射面Aを撮影するためのカメラである。撮像素子は、例えばCMOS(Complementary Metal-Oxide Semiconductor)やCCD(Charge Coupled Device)などの固体撮像素子により構成されている。撮像部20としては、例えば、広角レンズを備えたカメラが挙げられる。あるいは、撮像部20が複数台のカメラを有し、各カメラにより得られる撮影画像をスティッチ処理して広角画像が形成されてもよい。
この撮像部20は、例えば筐体11の面S1の側に、投射部10の出射口10Bおよび光照射部30と共に搭載されている。ここでは、撮像部20は、例えば出射口10Bの近傍に配置されると共に、出射口10Bよりも観察者側の位置(Z方向正側の位置)に設置されている。これにより、投射範囲B1と略同等の範囲(撮像範囲B2)を撮像可能となっている。撮像範囲B2は、例えば投射範囲B1よりも上下方向(Y方向)および左右方向(X方向)の幅が大きく設定されている。この撮像部20は、光照射部30とは異なる光軸を有している(撮像部20のカメラの光軸と光照射部30の光軸とが一致しないように配置されている)。これにより、撮像部20は、光照射部30から出力されたレーザ光L2の光路(線状光L2aの照射光路)とは異なる光路から投射面Aを撮影する。この撮像部20によって撮影された画像(撮像信号Dt1)は、撮像信号処理部43へ出力される。
光照射部30は、投射画像の歪み補正用(校正用)に使用される光源部である。この光照射部30は、例えばレーザ光L2を出力し、投射面Aに対して、投射面A内の一方向(第1の方向)に沿って延伸する(線状を成す)線状光L2aを照射するレーザ光源を有している。線状光L2aは、例えば鉛直方向(第2の方向,Y方向)に垂直な水平方向(第1の方向,X方向)に沿って延伸するラインレーザビームである。光照射部30は、指向性の高いレーザ光L2を出力するレーザ光源を有することが望ましいが、投射面Aに対して線状に光を照射可能であれば、例えばLED光源等の他の光源を用いたものでも構わない。また、線状光L2aの波長は可視域のものであってもよいし、例えば近赤外線(NIR:Near infrared)などの非可視域のものであってもよい。
投射型表示装置1には、この光照射部30と共に、ユーザ等の物体が光照射部30に接近した(近づいた)ことを検知する機能(例えば人感センサ等)が搭載され、物体が検知された場合には線状光L2aの照射を停止する、ように構成されていることが望ましい。指向性の高い線状光L2aが、ユーザの眼に影響を及ぼすことを抑止することができるためである。
線状光L2aの仰角(レーザ光L2の出射角度)a2は、固定であってもよいし可変であってもよい。換言すると、投射面Aにおける線状光L2aの照射位置は、固定であってもよいし可変であってもよい。仰角a2は、投射型表示装置1が投射面Aに対して真正面に(投射範囲B1が矩形状となるように)設置された場合に、投射範囲B1と重畳するいずれかの位置に線状光L2aが照射されるように調整されている。あるいは、撮像範囲B2内であれば、投射範囲B1の外側、例えば上端位置p1よりも上方の位置に線状光L2aが照射されてもよい。
但し、本実施の形態のように、仰角a2が、投射範囲B1の上端位置p1と略同等の位置に線状光L2aが照射されるように設定されることが望ましい。投射面Aの非平坦性に起因する歪み量は、Y方向における投射面Aの凹凸の度合いが等しい(一定である)場合であっても、投射範囲B1内のY方向の位置によって異なる。即ち、歪み量は、投射範囲B1のうち、投射光L1の仰角a1が最も大きくなる上端位置p1において最も大きく、仰角a1が最も小さくなる下端位置p2において最も小さくなる。このため、上端位置p1に線状光L2aを照射し、この線状光L2aの撮影画像に基づいて後述の歪み検出を行うことで、歪み量の検出感度を高めることができる。
この光照射部30は、筐体11の面S1において、投射部10の出射口10Bよりも投射面A側の位置に配置されている。換言すると、光照射部30は、線状光L2a(レーザ光L2)の投射面Aへの入射角度a2’が、投射光L1の入射角度a1’よりも浅い角度(a1’>a2’)で照射されるように構成されている。これにより、詳細は後述するが、投射面Aの非平坦性に起因して、線状光L2aが投射光L1よりも大きく歪み易くなる。また、この光照射部30の光軸は、撮像部20のカメラの光軸とは一致しないように配置されている(撮像部20とは異なる光軸を有している)。これにより、線状光L2aとは異なる光路から、投射面A上の線状光L2aが撮影されるため、線状光L2aの撮影画像では、線状光L2aに歪みが生じる。この線状光L2aの撮影画像の歪みに基づいて投射画像の歪みを推定し、補正を行うことが可能となる。
制御部40は、例えばCPU(Central Processing Unit:中央処理装置)などを含んで構成されている。この制御部40は、投射型表示装置1内の各部の動作を制御するものである。尚、例えば投射部10、撮像部20、光照射部30および画像表示素子42はそれぞれ、この制御部40の制御に基づいて、図示しない駆動部により所定のタイミングで駆動される。
映像信号処理部41は、例えば外部より入力される映像信号(画像信号)に基づいて、例えば画像表示素子42に表示するための映像信号(Dt0)を生成するものである。例えば、外部入力信号に基づいて、例えばR,G,Bの各色に応じた映像信号Dt0を生成する。この映像信号処理部41は、また、例えばFPGA(Field Programmable Gate Array)またはGPU(Graphics Processing Unit)等を含んで構成され、後述する撮像信号処理部43から出力された補正係数を用いて映像信号Dt0を補正するものである。この映像信号処理部41により生成された映像信号Dt0または補正後の映像信号(Dt2)は、図示しないタイミングコントローラや駆動部(ドライバ回路)などにより画像表示素子42へ供給される。この映像信号処理部41が、本開示における「補正部」の一具体例に相当する。
画像表示素子42は、例えばLCOS(Liquid Crystal On Silicon)等の反射型の液晶素子、透過型の液晶素子あるいはDMD(Digital Micromirror Device)である。画像表示素子42は、図示しない照明光学系からの光を、映像信号処理部41から入力される映像信号に基づいて変調するものである。画像表示素子42によって変調された光は、投射部10を介して投射面Aへ出力される。尚、画像表示素子42は、例えば有機電界発光素子などの自発光素子であってもよく、その場合には、照明光学系は不要である。
撮像信号処理部43は、例えばCPUまたはGPUなどを含んで構成され、撮像部20から入力された撮影画像(撮像信号Dt1)に対して各種の信号処理を施すものである。この撮像信号処理部43は、例えば歪み検出部44と、歪み推定部45と、補正係数算出部46とを含んで構成されている。尚、歪み検出部44、歪み推定部45および補正係数算出部46が、本開示における「検出部」、「推定部」および「補正係数算出部」の一具体例にそれぞれ相当する。
歪み検出部44は、撮像部20から入力された、撮影画像(撮像信号Dt1)に基づいて、線状光L2aの歪み量(第1の歪み量、後述の歪み量dr)を、所定の演算処理を用いて算出するものである。歪み量drは、投射面Aの非平坦性(凹凸)に起因して生じるものであり、ここでは、水平方向(X方向)に直交する鉛直方向(Y方向)における線状光L2aの変形量である。
歪み推定部45は、線状光L2aの歪み量drに基づいて、投射画像の歪み量(第2の歪み量,後述の歪み量dp)を、所定の演算処理を用いて算出するものである。歪み量dpは、投射面Aの非平坦性(凹凸)に起因して生じるものであり、例えば鉛直方向(Y方向)における投射画像の変形量である。
補正係数算出部46は、歪み推定部45によって算出された歪み量dpに基づいて、その歪み量dpを打ち消すような変形を投射画像に施すための補正係数を算出するものである。
記憶部47は、例えば制御部40において取り扱われるプログラムやデータ等を記憶するものである。
[動作]
本実施の形態の投射型表示装置1の動作について、図1〜図10を参照して説明する。図4は、投射面Aの非平坦性に起因する投射画像の歪み量について説明するための模式図である。図5Aおよび図5Bは、壁面の構造を説明するための斜視図である。図6は、画像補正動作の流れを表す図である。図7は、パターン画像の一例を表す模式図である。図8は、パターン画像と線状光との撮影画像を表す模式図である。図9は、基準線の設定動作および差分値の算出動作を説明するための模式図である。図10は、投射画像の歪み量を推定する際の演算処理で用いるパラメータを示す模式図である。尚、本開示の「画像補正方法」は、以下の投射型表示装置1の動作によって具現化されるため、その説明を省略する。
投射型表示装置1では、投射面Aの正面に配置(設置面Bに配置)された状態で、映像信号Dt0(または後述の映像信号Dt2)に基づく映像(画像)が画像表示素子42において表示されると、この映像(投射光L1)が、投射部10を介して投射面A上に投射される。このようにして、投射面Aに映像を表示することができる。
ところが、図4に模式的に示したように、投射面Aが例えば壁面等である場合、平坦性が確保されにくい。例えば、一般的な家屋の壁面を想定した場合、壁面には、主に一定の方向(例えば水平方向,X方向)に沿って凹凸が生じ易く、他の方向(例えば鉛直方向,Y方向)にはほとんど生じない、という傾向がある。これは、図5Aおよび図5Bに示したように、壁面の凹凸が、壁紙や塗装の下地となる石膏ボードを打ち付けるための構造材における寸法誤差、あるいは施工ずれ等に起因して生じるためである。このように、壁面等の投射面Aでは、基本的に凹凸が一定の方向にのみ生じていると見做すことができる。換言すると、投射面Aでは、一定の方向(ここではX方向)に沿って、投射画像に影響を及ぼし得る顕著な凹凸が生じる。
このような投射面Aにおいて、凹んでいる部分(投射面A’とする)を想定すると、その凹凸(凹み)による変位量(投射面A,A’間の変位量da)に応じて、投射面A’では、投射面Aの上端位置p1よりも上方(Y方向正側)の位置(p11)に、投射光L1が入射する。この結果、投射面A(投射面A’)がユーザにより正面から(観察方向Dzから)観察された場合、投射面Aの凹凸に起因して、投射画像に波打ったような歪みが視認される。この投射画像に生じる歪みは、投射範囲B1内の上端位置p1に近づくほど大きなものとなる。
そこで、本実施の形態では、投射画像に対し、上記のような歪みを補正する処理を施す。図6は、本実施の形態の画像補正処理の流れを表したものである。
具体的には、撮像信号処理部43が、線状光L2aの撮像画像に基づいて、投射画像の歪みを補正する。ここで、上記のように、光照射部30は、投射部10の出射口10Bよりも投射面A側に配置されている。換言すると、光照射部30は、線状光L2a(レーザ光L2)が、投射光L1よりも投射面Aに対して浅い入射角度(a1’>a2’)で照射されるように構成されている。これにより、投射面Aの上端位置p1に向けて出力されたレーザ光L2は、投射面A’上の、投射光L1の入射する位置p11よりも更に上方の位置p12に入射する。このため、線状光L2aの歪み量dr(第1の歪み量)は、投射画像の歪み量dp(第2の歪み量)よりも大きくなる(dr>dp)。線状光L2aのY方向に沿った位置p1,p12間の距離が歪み量drに相当し、投射光L1のY方向に沿った位置p1,p11間の距離が歪み量dpに相当する。
また、この光照射部30が撮像部20のカメラとは異なる光軸上に配置されることから、撮像部20による線状光L2aの撮影画像では、線状光L2aに歪みが生じる。本実施の形態では、この線状光L2aの歪みに基づいて投射画像の歪みを推定し、補正を行う。
即ち、まず、投射面Aに対し、投射部10がパターン画像120を投射すると共に、光照射部30が上端位置p1に向けて線状光L2aを照射する(図6に示したステップS11)。パターン画像120の一例を図7に示す。パターン画像120は、例えば線または点(ドット)が規則的に配置されたものであり、ここでは一例として、グリッド状(格子状)のパターンを示している。パターン画像120は、後述の線状光L2aの歪み量を算出する際の座標を特定するものである。例えば、パターン画像120における縦線が、歪み量を算出する際のサンプリングポイントの水平座標(X座標)を特定する。また、このパターン画像120における線の水平方向(X方向)における間隔が、歪み検出時のサンプリング間隔となるため、水平方向における間隔は狭い方が、補正精度が高まるため望ましい。
続いて、投射面Aに表示されたパターン画像120と線状光L2aとの形状および位置等に応じて、投射型表示装置1の設置位置を微調整する(ステップS12)。具体的には、投射面A上のパターン画像120の横線と、線状光L2aとが略平行となるように、必要に応じて、設置位置を微調整する。尚、この微調整は、例えばユーザが手動で行う。あるいは、投射型表示装置1に調整機能を搭載し、その調整機能により自動で行われてもよい。
次に、撮像部20が、投射面Aに表示されたパターン画像120と線状光L2aとをそれぞれ個別に撮像する(ステップS13)。具体的には、まず、投射部10がパターン画像120を投射面Aに投射し、光照射部30が線状光L2aを照射していない状態で、撮像部20が投射面Aを撮影する。この後、光照射部30が投射面Aの例えば上端位置p1に線状光L2aを照射し、投射部10がパターン画像120を投射していない状態で、撮像部20が投射面Aを撮影する。パターン画像120と線状光L2aとの撮影順序は逆でもよい。但し、後述の演算処理内容に応じて、パターン画像120と線状光L2aとを同時に撮影しても構わない。
図8は、パターン画像120の撮影画像(撮影画像120A)と、線状光L2aの撮影画像(撮影画像L2a1)とを模式的に表したものである。このように、線状光L2aおよびパターン画像120の撮影画像L2a1,120Aのいずれにおいても、投射面Aの凹凸に起因して波打ったような歪みが生じる。また、パターン画像120の撮影画像120AのY方向における歪み量(歪み量dpに対応する歪み量)は、上端位置p1において最も大きく、下端位置p2へ近づくに従って小さくなっている。線状光L2aの撮影画像L2a1のY方向における歪み量(歪み量drに対応する歪み量)は、撮影画像120Aの上端位置p1における歪み量よりも大きく生じる。これらの線状光L2aの撮影画像L2a1と、パターン画像120の撮影画像120Aとを含む撮像信号Dt1は、撮像信号処理部43へ出力される。
続いて、撮像信号処理部43は、線状光L2aの撮影画像L2a1と、パターン画像120の撮影画像120Aとのそれぞれに対し、レンズディストーション補正および正面視画像への射影変換の各処理を施す(ステップS14)。これらの処理は、例えば歪み検出部44が、線状光L2aの撮影画像L2a1と、パターン画像120の撮影画像120Aとのそれぞれに対して行う。これにより、線状光L2aの歪みを精度良く検出することができる。
次に、歪み検出部44は、上記のステップS14の各処理を施した撮影画像L2a1,120Aのそれぞれに対して、細線化処理を施す(ステップS15)。この際、撮影画像L2a1,120Aを、例えば1画素相当の幅まで細線化する。例えば、撮影画像L2a1,120Aを2値化した後に細線化処理する手法、あるいは階調分布の中央値を算出して細線化する手法等を用いることができる。このような細線化処理により、線状光L2aの歪みを精度良く検出することができる。
続いて、歪み検出部44は、線状光L2aの撮影画像L2a1に基づいて、基準線を設定する(ステップS16)。例えば、撮影画像L2a1に対する線形フィッティング等の手法により基準線を算出することができる。図9に、その一例を示す。このように、線状光L2aの撮影画像L2a1に対して、例えば直線状の基準線130を設定する。
次に、歪み検出部44は、線状光L2aおよびパターン画像120の撮影画像L2a1,120Aに基づいて、線状光L2aの撮影画像L2a1の歪み量drを算出する(ステップS17)。具体的には、パターン画像120の撮影画像120A上の選択的な点において、線状光L2aの撮影画像L2a1と基準線130との差分値を算出する。例えば、図9に示したように、パターン画像120の撮影画像120Aの縦線の水平座標(X座標)をサンプリングポイントの水平座標(…,x−1,x,x+1,…:xは整数)として、撮影画像L2a1と基準線130との鉛直方向(Y方向)における差分値S(x)を算出する。この差分値S(x)から歪み量dr(詳細には、歪み量dr(x))を算出することができる。歪み量drについての信号Dt11は、歪み推定部45に出力される。
続いて、歪み推定部45は、入力された信号Dt11に基づいて、投射画像の歪み量dpを推定する(ステップS18)。上述したように、投射面Aでは、主に一方向、ここでは水平方向(X方向)において凹凸が生じ、この水平方向に直交する鉛直方向(Y方向)では凹凸がほとんど生じない傾向がある。このため、ある水平座標xにおける投射面Aの凹凸による変位量daは、投射範囲B1の上端位置p1から下端位置p2まで一定であると見做すことができる。よって、線状光L2a(レーザ光L2)の歪み量をdr、投射画像(投射光L1)の歪み量をdp、投射光L1の仰角(投射光L1の出射角度)をa1、線状光L2aのレーザ光L2の仰角(レーザ光L2の出射角度)をa2とした場合(図10を参照)、次の条件式(1)〜(3)を用いた演算処理により推定することができる。
da=dr/tan(a2) ………(1)
dp=da・tan(a1) ………(2)
dp=[tan(a1)/tan(a2)]・dr ………(3)
ここで、仰角a1,a2は、投射型表示装置1の設計仕様あるいは計測により決定される値であるので、線状光L2aの歪み量drを検出することができれば、投射面Aの変位量daおよび投射画像の歪み量dpを演算処理によって算出可能である。尚、厳密には、線状光L2aの照射位置(ここでは上端位置p1)から離れるに従って変位量daは僅かに変化し、推定される歪み量dpにも誤差が生じる可能性はある。しかしながら、投射範囲B1の下方(下端位置p2に近づく)ほど、仰角a1が小さくなり、歪み量dpも小さくなることから、誤差の影響も小さくなる。このようにして推定された歪み量dpについての信号Dt12は、補正係数算出部46へ出力される。
次に、補正係数算出部46は、入力された信号Dt12に基づいて補正係数を算出する(ステップS19)。具体的には、投射画像の歪み量dpに基づいて、投射画像に対して歪み量dpを打ち消すような変形を施すための補正係数を算出する。ここで、仰角a1は、投射範囲B1の下端位置p2から上端位置p1に向かって徐々に大きくなることから、上記の式(2)より、歪み量dpは、下端位置p2から上端位置p1に向かって徐々に大きくなる。このため、補正係数算出部46は、そのような歪み量dpの変化を考慮した補正係数を設定し、投射画像の歪み補正を行うことができる。あるいは、上述のように、歪み量dpは、投射範囲B1の上端位置p1において最も大きくなることから、投射範囲B1内の一部(例えば、歪みが生じ易い上端位置p1の近傍の領域)にのみ補正が施すように補正係数が設定されても構わない。算出された補正係数(補正係数信号Dt13)は、例えば記憶部47に保持される。あるいは、補正係数信号Dt13は、直接に映像信号処理部41へ入力されてもよい。
その後、映像信号処理部41(補正部)は、記憶部47に保持された補正係数信号Dt13を用いて、投射画像(映像信号Dt0)の幾何補正処理を行う(ステップS20)。補正後の投射画像のデータ(映像信号Dt2)は、制御部40の制御に基づいて、所定のタイミングで画像表示素子42に送られる。このようにして、投射面Aの非平坦性に起因する歪み補正が施された映像を、投射面Aに投射することができる。
尚、撮像信号処理部43および映像信号処理部41による一連の処理動作(歪み量drの検出動作、歪み量dpの推定動作、補正係数算出動作および画像補正動作)は、上述のように投射型表示装置1内に搭載された電子回路により行われてもよいし、あるいは例えば制御部40または外部機器におけるソフトウェアによって実行されてもよい。また、撮像信号処理部43および映像信号処理部41(信号処理部)は、1または複数の電子回路デバイス(CPUまたはGPUなど)によって構成されている。例えば、撮像信号処理部43では、その処理動作(歪み量drの検出動作、歪み量dpの推定動作および補正係数算出動作)が、1つの電子回路デバイスにより行われてもよいし、別々の電子回路デバイスにより行われてもよい。
ここで、上記のような画像補正処理の一例について示す。図11Aおよび図12に、各パラメータの数値例を示す。また、図11Bには、図11Aの上端位置p1付近を拡大したものを示す。本数値例では、投射型表示装置1の投射範囲B1のサイズは150インチであり、撮像部20(カメラ)の仰角(撮像部20の光軸の仰角)は57.2°、対角画角は76.7°、画素数は20.7メガピクセルである。撮像部20が、上端位置p1を見込む角度は72.39°、上端位置p11を見込む角度は72.40°である。また、上端位置p1へ入射する投射光L1の仰角a1は74.8°であり、上端位置p1へ入射するレーザ光L2の仰角a2は82.4°である。線状光L2aの歪み量drは22.5mm、投射画像(パターン画像120)の歪み量dpは11.0mmである。また、投射面Aの変位量daは3mmである。
まず、この構成において、例えば図11Aに示したように、投射画像の歪み量を、投射画像の撮影画像から直接的に検出する場合について述べる。この場合、正面視では(ユーザが観察する方向からは)、11.0mmもの大きな歪み量dpが生じるに対し、撮像部20の搭載位置から見える歪み量dc1は0.5mmとなる。この0.5mmという寸法は、例えばカメラの約1ピクセルに相当するため、投射画像の撮影画像から直接的に投射画像の歪み量dc1,dpを検出するのは困難である。
これに対し、本実施の形態のように、線状光L2aの撮影画像に基づいて歪み量を検出する場合について述べる。この場合、図12に示したように、正面視で22.5mmの歪み量drに対し、撮像部20の搭載位置から見える歪み量dc2は4.1mmとなる。この4.1mmという寸法は、例えばカメラの約8ピクセルに相当するため、撮影画像から十分な精度で歪み量dc2,drを検出することができる。投射画像の歪み量dpは、上述のように演算処理によって推定可能であることから、線状光L2aの歪み量drを、容易に投射画像の歪み量dpに換算することができる。このように、線状光L2aの歪み量drに基づいて投射画像の歪み量dpを推定することで、歪み量dpの検出感度を高めることができ、補正精度を向上させることができる。
以上のように、本実施の形態の投射型表示装置1では、光照射部30が、投射面Aに対し、投射光L1の入射角度(a1’)よりも浅い入射角度(a2’)で所定の線状光L2aを照射し、この線状光L2aを、光照射部30とは異なる光軸を有する撮像部20が撮影する。撮像信号処理部43および映像信号処理部41が、線状光L2aの撮影画像に基づいて投射画像の歪みを補正する。これにより、ユーザがカメラを設置したり撮影したりすることなく、投射面Aの非平坦性に起因する画像の歪みを補正することができる。よって、利便性を保ちつつ、投射画像の画質を向上させることが可能となる。
次に、上記実施の形態の変形例について説明する。上記実施の形態と同様の構成要素については同一の符号を付し、適宜その説明を省略する。
<変形例>
図13は、変形例に係る投射型表示装置の概略構成とその使用状態を表す模式図である。上記実施の形態では、光照射部30が、投射範囲B1の上端位置p1に向けて線状光L2aを照射する場合について説明したが、本変形例のように、光照射部30が、投射範囲B1のうちの複数の位置に向けて線状光L2aを照射可能に構成されていてもよい。
本変形例の光照射部30は、例えばレーザ光L2の仰角(出射角度)a2が可変となっている。例えば、仰角a21,a22,a23で、レーザ光L21,L22,L23をそれぞれ出射可能となっている。レーザ光L21は、例えば最も上方の位置p3に向けて仰角a21で出射され、レーザ光L22は、位置p3よりも下方の位置p4に向けて仰角a22で出射され、レーザ光L23は、位置p4よりも下方の位置p5に向けて仰角a23で出射される。このように投射範囲B1をいくつかの領域に分割し、分割された領域毎に線状光L2aが照射される。このレーザ光L2の仰角a2は、例えばステッピングモータ等を用いて変化させることができ、位置p3,p4,p5に対し、線状光L2aを順次照射することができる。
あるいは、光照射部30は、それぞれの出力レーザ光の仰角が異なる複数のレーザ光源を有していてもよい。例えば、光照射部30は、位置p3に向けて仰角a21でレーザ光L21を出射する第1のレーザ光源と、位置p4に向けて仰角a22でレーザ光L22を出射する第2のレーザ光源と、位置p5に向けて仰角a23でレーザ光L23を出射する第3のレーザ光源とを有していてもよい。この場合、位置p3,p4,p5に対して、線状光L2aを順次または同時に照射することができる。
尚、光照射部30は、上記実施の形態と同様、投射部10の出射口10Bよりも投射面A側に配置され、かつ撮像部20とは異なる光軸を有している。即ち、レーザ光L21により形成される線状光L2aは、投射面Aに対し、仰角a11で位置p3へ向けて出射される投射光L11よりも浅い入射角度で照射される。レーザ光L22により形成される線状光L2aは、投射面Aに対し、仰角a12で位置p4へ向けて出射される投射光L12よりも浅い入射角度で照射される。レーザ光L23により形成される線状光L2aは、投射面Aに対し、仰角a13で位置p5へ向けて出射される投射光L13よりも浅い入射角度で照射される。
このような光照射部30を備えた投射型表示装置では、撮像信号処理部43および映像信号処理部41が、複数の位置のそれぞれに照射された線状光L2aの撮影画像に基づいて、投射画像の歪みを、その線状光L2aの照射位置に対応する領域毎に補正する。
ここでは、投射範囲B1をY方向(鉛直方向)に沿って仮想的に3つの領域E1,E2,E3に分割し、分割された領域E1,E2,E3毎に、線状光L2aが順次照射され、その都度、投射面Aが撮影される。そして、領域E1,E2,E3の各撮影画像に基づいて、上記実施の形態で述べた一連の信号処理動作(歪み量drの検出、歪み量dpの推定、補正係数の算出および画像補正)がなされる。
具体的には、領域E1の位置p3に照射された線状光L2aが撮影され、この線状光L2aの歪み量dr1が検出される。歪み量dr1は、投射面A上の位置p3と投射面A’上の位置(投射面A’上のレーザ光L21の入射する位置)p31とのY方向に沿った距離に相当する。同様に、領域E2の位置p4に照射された線状光L2aが撮影され、この線状光L2aの歪み量dr2が検出される。歪み量dr2は、投射面A上の位置p4と投射面A’上の位置(投射面A’上のレーザ光L22の入射する位置)p41とのY方向に沿った距離に相当する。領域E3の位置p5に照射された線状光L2aが撮影され、この線状光L2aの歪み量dr3が検出される。歪み量dr3は、投射面A上の位置p5と投射面A’上の位置(投射面A’上のレーザ光L23の入射する位置)p51とのY方向に沿った距離に相当する。ここでは、3つの位置に線状光L2aを照射し、投射範囲B1を3つの領域に分割したが、領域の分割数(線状光L2aの照射位置の数)はこれに限らず、2つであってもよいし、4つ以上であってもよい。
このようにして検出された領域E1,E2,E3毎の歪み量dr1,dr2,dr3に基づいて、投射画像の歪み量dp1,dp2,dp3が推定される。歪み量dp1は、投射面A上の位置p3と投射面A’上の位置(投射面A’上の投射光L11の入射する位置)p32とのY方向に沿った距離に相当する。歪み量dp2は、投射面A上の位置p4と投射面A’上の位置(投射面A’上の投射光L12の入射する位置)p42とのY方向に沿った距離に相当する。歪み量dp3は、投射面A上の位置p5と投射面A’上の位置(投射面A’上の投射光L13の入射する位置)p52とのY方向に沿った距離に相当する。
n個(nは2以上の整数)の領域に分割した場合の、各領域Enにおける投射画像の歪み量dp(n)は、以下の条件式(4)〜(6)を用いた演算処理により算出することができる。尚、領域E(n)における、投射面Aの変位量をda(n) 、線状光L2aの歪み量をdr(n) 、投射画像の歪み量をdp(n) 、投射光L1nの仰角をa1n 、レーザ光L2nの仰角をa2nとする。
da(n)=dr(n)/tan(a2n) ………(4)
dp(n)=da(n)・tan(a1n) ………(5)
dp(n)=[tan(a1n)/tan(a2n)]・dr(n) ………(6)
上記実施の形態と同様、仰角a1n,a2nは、投射型表示装置1の設計仕様あるいは計測により決定される値であるので、線状光L2aの領域毎の歪み量dr(n)を検出することができれば、投射面Aの変位量da(n)および投射画像の歪み量dp(n)を演算処理によって算出することができる。
このようにして算出された領域E(n)毎の投射画像の歪み量dp(n)に基づいて、領域E(n)毎に補正係数が算出され、歪み補正が施される。よって、本変形例においても上記実施の形態と同様、ユーザがカメラを設置したり撮影したりすることなく、投射面Aの非平坦性に起因する投射画像の歪みを補正することができる。よって、利便性を保ちつつ、投射画像の画質を向上させることが可能となる。
また、本変形例では、Y方向(鉛直方向)に沿って分割された領域毎の補正が可能であることから、投射面Aの鉛直方向において変位量daが異なる場合に、特に有効である。つまり、投射画像の歪み量の推定精度を高めることができ、補正精度を向上させることができる(極め細やかな歪み補正を行うことができる)。
以上実施の形態および変形例を挙げて説明したが、本開示は、上記実施の形態等に限定されず種々の変形実施が可能である。例えば、上記実施の形態では、光照射部30が水平方向(X方向)に沿って延伸する線状光L2aを照射する場合について説明したが、本開示の線状光の延伸方向は、水平方向に限定されるものではない。本開示の投射型表示装置では、線状光の延伸方向と直交する方向における歪みを補正可能であり、線状光の延伸方向は、目的に応じて、様々な方向を取り得る。例えば、上記実施の形態等では、投射面Aが壁面である場合を想定しているが、投射面Aは壁面に限定されるものではない。投射面Aとしては、例えば壁面の他にも、非平坦性を有する様々な場所を想定することができる。そのような投射面Aの非平坦性に応じて、線状光の延伸方向が設定されればよい。また、光照射部が、線状光の延伸方向を投射面内において回転できるような機構を有していても構わない。
また、上記実施の形態等において説明した効果は一例であり、本開示の効果は、他の効果であってもよいし、更に他の効果を含んでいてもよい。
なお、本開示は以下のような構成を取ることができる。
(1)
画像を表示する画像表示素子と、
前記画像表示素子により表示された画像を投射面に向けて投射する投射部と、
前記投射面に対し、前記投射面内の第1の方向に沿って延伸する線状光を、投射光よりも浅い入射角度で照射する光照射部と、
前記光照射部と異なる光軸を有すると共に、前記投射面を撮影する撮像部と、
前記撮像部から出力される撮像信号に対して信号処理を施す信号処理部と、
を備え、
前記撮像部は、前記投射面に照射された線状光を撮影し、
前記信号処理部は、前記線状光の撮影画像に基づいて、投射される前記画像の歪みを補正する
投射型表示装置。
(2)
前記信号処理部は、
前記線状光の撮影画像に基づいて、前記線状光における第1の歪み量を検出する検出部と、
検出された前記第1の歪み量に基づいて前記画像における第2の歪み量を推定する推定部と、
推定された前記第2の歪み量に基づいて補正係数を算出する補正係数算出部と、
前記補正係数を用いて前記画像を補正する補正部と
を有する
上記(1)に記載の投射型表示装置。
(3)
前記光照射部は、前記投射面に対して前記線状光を照射し、
前記投射部は、前記投射面に対して、線または点が規則的に配置されてなるパターン画像を投射し、
前記検出部は、
前記線状光の撮影画像に基づいて基準線を設定し、
前記線状光および前記パターン画像の撮影画像に基づいて、前記パターン画像上の選択的な点における前記線状光と前記基準線との差分値を算出し、前記差分値から前記第1の歪み量を算出する
上記(2)に記載の投射型表示装置。
(4)
前記推定部は、前記第2の歪み量を、以下の条件式[1]〜[3]を用いた演算処理により推定する
上記(2)または(3)に記載の投射型表示装置。
da=dr/tan(a2) ………[1]
dp=da・tan(a1) ………[2]
dp=[tan(a1)/tan(a2)]・dr ………[3]
但し、
da:投射面の凹凸による変位量
dr:線状光の歪み量(第1の歪み量)
dp:画像の歪み量(第2の歪み量)
a1:投射光の出射角度
a2:線状光の出射角度
とする。
(5)
前記検出部は、前記線状光の撮影画像と、前記パターン画像の撮影画像とのそれぞれに対して細線化処理を施す
上記(3)に記載の投射型表示装置。
(6)
前記検出部は、前記線状光の前記第1の方向と直交する第2の方向における歪み量を検出する
上記(2)〜(5)のうちのいずれか1つに記載の投射型表示装置。
(7)
前記第1の方向は水平方向であり、前記第2の方向は鉛直方向である
上記(6)に記載の投射型表示装置。
(8)
前記光照射部は、前記投射面における投射範囲の上端位置に向けて、前記線状光を照射するように構成されている
上記(1)〜(7)のうちのいずれか1つに記載の投射型表示装置。
(9)
前記信号処理部は、前記上端位置に照射された線状光の撮影画像に基づいて、前記画像の一部または全域の歪みを補正する
上記(8)に記載の投射型表示装置。
(10)
前記光照射部は、前記投射面における投射範囲のうちの複数の位置に向けて、前記線状光を照射可能に構成されている
上記(1)〜(9)のうちのいずれか1つに記載の投射型表示装置。
(11)
前記信号処理部は、前記複数の位置のそれぞれに照射された線状光の撮影画像に基づいて、前記画像の歪みを、前記線状光の照射位置に対応する領域毎に補正する
上記(10)に記載の投射型表示装置。
(12)
前記光照射部は、レーザ光源を有する
上記(1)〜(11)のうちのいずれか1つに記載の投射型表示装置。
(13)
前記光照射部に接近する物体を検知する機能を有し、
前記物体が検知された場合に、前記光照射部の前記線状光の照射を停止する、ように構成されている
上記(12)に記載の投射型表示装置。
(14)
前記投射部は、短焦点レンズを含む
上記(1)〜(13)のうちのいずれか1つに記載の投射型表示装置。
(15)
投射面に向けて投射する画像を補正する際に、
前記投射面に対し、前記投射面内の第1の方向に沿って延伸する線状光を、投射光よりも浅い入射角度で照射し、
前記投射面に照射された線状光を、前記線状光とは異なる光路から撮影し、
前記線状光の撮影画像に基づいて、投射される前記画像の歪みを補正する
画像補正方法。
(16)
前記線状光の撮影画像に基づいて、前記線状光における第1の歪み量を検出し、
検出された前記第1の歪み量に基づいて、前記画像における第2の歪み量を推定し、
推定された前記第2の歪み量に基づいて前記画像を補正する
上記(15)に記載の画像補正方法。
(17)
前記投射面に対し、前記線状光を照射すると共に、線または点が規則的に配置されてなるパターン画像を投射し、
前記線状光の撮影画像に基づいて基準線を設定し、
前記線状光および前記パターン画像の撮影画像に基づいて、前記パターン画像上の選択的な点における前記線状光と前記基準線との差分値を算出し、前記差分値から前記第1の歪み量を算出する
上記(16)に記載の画像補正方法。
(18)
前記第2の歪み量を、以下の条件式[1]〜[3]を用いた演算処理により推定する
上記(16)または(17)に記載の画像補正方法。
da=dr/tan(a2) ………[1]
dp=da・tan(a1) ………[2]
dp=[tan(a1)/tan(a2)]・dr ………[3]
但し、
da:投射面の凹凸による変位量
dr:線状光の歪み量(第1の歪み量)
dp:投射される画像の歪み量(第2の歪み量)
a1:投射光の出射角度
a2:線状光の出射角度
とする。
(19)
前記線状光を、前記投射面における投射範囲の上端位置に向けて照射し、
前記上端位置に照射された線状光の撮影画像に基づいて、前記画像の一部または全域の歪みを補正する
上記(15)〜(18)のうちのいずれか1つに記載の画像補正方法。
(20)
前記線状光を、前記投射面における投射範囲のうちの複数の位置に向けて順次または同時に照射し、
前記複数の位置のそれぞれに照射された線状光の撮影画像に基づいて、前記画像の歪みを、前記線状光の照射位置に対応する領域毎に補正する
上記(15)〜(18)のうちのいずれか1つに記載の画像補正方法。
本出願は、日本国特許庁において2015年10月6日に出願された日本特許出願番号第2015−198762号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (20)

  1. 画像を表示する画像表示素子と、
    前記画像表示素子により表示された画像を投射面に向けて投射する投射部と、
    前記投射面に対し、前記投射面内の第1の方向に沿って延伸する線状光を、投射光よりも浅い入射角度で照射する光照射部と、
    前記光照射部と異なる光軸を有すると共に、前記投射面を撮影する撮像部と、
    前記撮像部から出力される撮像信号に対して信号処理を施す信号処理部と、
    を備え、
    前記撮像部は、前記投射面に照射された線状光を撮影し、
    前記信号処理部は、前記線状光の撮影画像に基づいて、投射される前記画像の歪みを補正する
    投射型表示装置。
  2. 前記信号処理部は、
    前記線状光の撮影画像に基づいて、前記線状光における第1の歪み量を検出する検出部と、
    検出された前記第1の歪み量に基づいて前記画像における第2の歪み量を推定する推定部と、
    推定された前記第2の歪み量に基づいて補正係数を算出する補正係数算出部と、
    前記補正係数を用いて前記画像を補正する補正部と
    を有する
    請求項1に記載の投射型表示装置。
  3. 前記光照射部は、前記投射面に対して前記線状光を照射し、
    前記投射部は、前記投射面に対して、線または点が規則的に配置されてなるパターン画像を投射し、
    前記検出部は、
    前記線状光の撮影画像に基づいて基準線を設定し、
    前記線状光および前記パターン画像の撮影画像に基づいて、前記パターン画像上の選択的な点における前記線状光と前記基準線との差分値を算出し、前記差分値から前記第1の歪み量を算出する
    請求項2に記載の投射型表示装置。
  4. 前記推定部は、前記第2の歪み量を、以下の条件式(1)〜(3)を用いた演算処理により推定する
    請求項2に記載の投射型表示装置。
    da=dr/tan(a2) ………(1)
    dp=da・tan(a1) ………(2)
    dp=[tan(a1)/tan(a2)]・dr ………(3)
    但し、
    da:投射面の凹凸による変位量
    dr:線状光の歪み量(第1の歪み量)
    dp:画像の歪み量(第2の歪み量)
    a1:投射光の出射角度
    a2:線状光の出射角度
    とする。
  5. 前記検出部は、前記線状光の撮影画像と、前記パターン画像の撮影画像とのそれぞれに対して細線化処理を施す
    請求項3に記載の投射型表示装置。
  6. 前記検出部は、前記線状光の前記第1の方向と直交する第2の方向における歪み量を検出する
    請求項2に記載の投射型表示装置。
  7. 前記第1の方向は水平方向であり、前記第2の方向は鉛直方向である
    請求項6に記載の投射型表示装置。
  8. 前記光照射部は、前記投射面における投射範囲の上端位置に向けて、前記線状光を照射するように構成されている
    請求項1に記載の投射型表示装置。
  9. 前記信号処理部は、前記上端位置に照射された線状光の撮影画像に基づいて、前記画像の一部または全域の歪みを補正する
    請求項8に記載の投射型表示装置。
  10. 前記光照射部は、前記投射面における投射範囲のうちの複数の位置に向けて、前記線状光を照射可能に構成されている
    請求項1に記載の投射型表示装置。
  11. 前記信号処理部は、前記複数の位置のそれぞれに照射された線状光の撮影画像に基づいて、前記画像の歪みを、前記線状光の照射位置に対応する領域毎に補正する
    請求項10に記載の投射型表示装置。
  12. 前記光照射部は、レーザ光源を有する
    請求項1に記載の投射型表示装置。
  13. 前記光照射部に接近する物体を検知する機能を有し、
    前記物体が検知された場合に、前記光照射部の前記線状光の照射を停止する、ように構成されている
    請求項12に記載の投射型表示装置。
  14. 前記投射部は、短焦点レンズを含む
    請求項1に記載の投射型表示装置。
  15. 投射面に向けて投射する画像を補正する際に、
    前記投射面に対し、前記投射面内の第1の方向に沿って延伸する線状光を、投射光よりも浅い入射角度で照射し、
    前記投射面に照射された線状光を、前記線状光とは異なる光路から撮影し、
    前記線状光の撮影画像に基づいて、投射される前記画像の歪みを補正する
    画像補正方法。
  16. 前記線状光の撮影画像に基づいて、前記線状光における第1の歪み量を検出し、
    検出された前記第1の歪み量に基づいて、前記画像における第2の歪み量を推定し、
    推定された前記第2の歪み量に基づいて前記画像を補正する
    請求項15に記載の画像補正方法。
  17. 前記投射面に対し、前記線状光を照射すると共に、線または点が規則的に配置されてなるパターン画像を投射し、
    前記線状光の撮影画像に基づいて基準線を設定し、
    前記線状光および前記パターン画像の撮影画像に基づいて、前記パターン画像上の選択的な点における前記線状光と前記基準線との差分値を算出し、前記差分値から前記第1の歪み量を算出する
    請求項16に記載の画像補正方法。
  18. 前記第2の歪み量を、以下の条件式(1)〜(3)を用いた演算処理により推定する
    請求項16に記載の画像補正方法。
    da=dr/tan(a2) ………(1)
    dp=da・tan(a1) ………(2)
    dp=[tan(a1)/tan(a2)]・dr ………(3)
    但し、
    da:投射面の凹凸による変位量
    dr:線状光の歪み量(第1の歪み量)
    dp:投射される画像の歪み量(第2の歪み量)
    a1:投射光の出射角度
    a2:線状光の出射角度
    とする。
  19. 前記線状光を、前記投射面における投射範囲の上端位置に向けて照射し、
    前記上端位置に照射された線状光の撮影画像に基づいて、前記画像の一部または全域の歪みを補正する
    請求項15に記載の画像補正方法。
  20. 前記線状光を、前記投射面における投射範囲のうちの複数の位置に向けて順次または同時に照射し、
    前記複数の位置のそれぞれに照射された線状光の撮影画像に基づいて、前記画像の歪みを、前記線状光の照射位置に対応する領域毎に補正する
    請求項15に記載の画像補正方法。
JP2017544421A 2015-10-06 2016-09-06 投射型表示装置および画像補正方法 Active JP6809477B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015198762 2015-10-06
JP2015198762 2015-10-06
PCT/JP2016/076095 WO2017061213A1 (ja) 2015-10-06 2016-09-06 投射型表示装置および画像補正方法

Publications (2)

Publication Number Publication Date
JPWO2017061213A1 true JPWO2017061213A1 (ja) 2018-08-02
JP6809477B2 JP6809477B2 (ja) 2021-01-06

Family

ID=58487531

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017544421A Active JP6809477B2 (ja) 2015-10-06 2016-09-06 投射型表示装置および画像補正方法

Country Status (4)

Country Link
US (2) US10397534B2 (ja)
JP (1) JP6809477B2 (ja)
CN (1) CN108141561B (ja)
WO (1) WO2017061213A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017061213A1 (ja) 2015-10-06 2017-04-13 ソニー株式会社 投射型表示装置および画像補正方法
JP6780315B2 (ja) * 2016-06-22 2020-11-04 カシオ計算機株式会社 投影装置、投影システム、投影方法及びプログラム
WO2019188121A1 (ja) * 2018-03-27 2019-10-03 ソニー株式会社 画像表示装置
JP7338659B2 (ja) * 2021-03-30 2023-09-05 セイコーエプソン株式会社 指示体の検出方法及びプロジェクションシステム
CN115883799A (zh) * 2021-09-29 2023-03-31 中强光电股份有限公司 投影机以及投影方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005006272A (ja) * 2003-05-21 2005-01-06 Nec Viewtechnology Ltd 傾斜角度測定装置を有するプロジェクタ
JP2009200683A (ja) * 2008-02-20 2009-09-03 Seiko Epson Corp 画像処理装置、プロジェクタ、歪み補正方法
JP2015118252A (ja) * 2013-12-18 2015-06-25 株式会社リコー 画像投影装置、画像投影システムおよび画像投影方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6753907B1 (en) * 1999-12-23 2004-06-22 Justsystem Corporation Method and apparatus for automatic keystone correction
CN100371825C (zh) * 2002-07-24 2008-02-27 索尼株式会社 投影屏及其制造方法
US7204596B2 (en) 2003-09-19 2007-04-17 Nec Corporation Projector with tilt angle measuring device
JP4199641B2 (ja) * 2003-10-30 2008-12-17 日本電気株式会社 プロジェクタ装置
ES2343145T3 (es) * 2006-02-21 2010-07-23 Panasonic Electric Works Co., Ltd. Aparato de visualizacion de imagenes y procedimiento de correccion de distorsion de imagen para el mismo.
JP5180689B2 (ja) * 2007-08-07 2013-04-10 三洋電機株式会社 投写型映像表示装置
JP5256899B2 (ja) * 2008-07-18 2013-08-07 セイコーエプソン株式会社 画像補正装置、画像補正方法、プロジェクタおよびプロジェクションシステム
JP5309828B2 (ja) 2008-09-19 2013-10-09 セイコーエプソン株式会社 プロジェクタ
JP2012151670A (ja) * 2011-01-19 2012-08-09 Renesas Electronics Corp 画像投影システム及び半導体集積回路
JP2013171246A (ja) * 2012-02-22 2013-09-02 Ricoh Co Ltd 超短焦点プロジェクター用リアスクリーン
JP5910157B2 (ja) 2012-02-23 2016-04-27 株式会社リコー 画像投射装置
WO2017061213A1 (ja) 2015-10-06 2017-04-13 ソニー株式会社 投射型表示装置および画像補正方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005006272A (ja) * 2003-05-21 2005-01-06 Nec Viewtechnology Ltd 傾斜角度測定装置を有するプロジェクタ
JP2009200683A (ja) * 2008-02-20 2009-09-03 Seiko Epson Corp 画像処理装置、プロジェクタ、歪み補正方法
JP2015118252A (ja) * 2013-12-18 2015-06-25 株式会社リコー 画像投影装置、画像投影システムおよび画像投影方法

Also Published As

Publication number Publication date
US20180295333A1 (en) 2018-10-11
CN108141561A (zh) 2018-06-08
CN108141561B (zh) 2020-12-18
US20190342531A1 (en) 2019-11-07
US10721447B2 (en) 2020-07-21
JP6809477B2 (ja) 2021-01-06
WO2017061213A1 (ja) 2017-04-13
US10397534B2 (en) 2019-08-27

Similar Documents

Publication Publication Date Title
US10721447B2 (en) Projection display and image correction method
TWI298416B (en) Projector and image correction method
TWI242373B (en) Image processing system, projector and image processing method
TWI249351B (en) Image processing system, projector, and image processing method
JP3925521B2 (ja) スクリーンの一部の辺を用いたキーストーン補正
EP3136377B1 (en) Information processing device, information processing method, program
US8727539B2 (en) Projector and method of controlling projector
JP3879858B2 (ja) 画像処理システム、プロジェクタおよび画像処理方法
JP2016519330A (ja) 短焦点カメラを用いてディスプレイシステムを校正するためのシステム及び方法
WO2015165209A1 (zh) 穿戴式投影装置及其调焦方法、投影方法
WO2017169186A1 (ja) 画像投影システムおよび補正方法
TWI484283B (zh) 影像計算量測方法、影像計算量測裝置及影像檢查裝置
JP2010050542A (ja) 投写型表示装置および表示方法
JP2005020314A (ja) 表示特性補正データの算出方法、表示特性補正データの算出プログラム、表示特性補正データの算出装置
JP2013172444A (ja) 画像投射装置
US9030553B2 (en) Projector image correction device and method
JP2010122273A5 (ja)
US20110074738A1 (en) Touch Detection Sensing Apparatus
JP7148855B2 (ja) 投影制御装置、投影装置、投影方法及びプログラム
JP2014060549A (ja) 照度出力装置、輝度出力装置及び画像投影装置
CN109644248B (zh) 投射型影像显示装置和投射影像的调整方法
JP2005303493A (ja) 障害物適応投射型表示装置
JP2014224841A (ja) 映像投写システム
JP2015142157A (ja) 映像投影システム、投影制御装置、投影制御用プログラム
JP2010288062A (ja) プロジェクター、プログラム、情報記憶媒体および画像投写方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190830

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201123

R151 Written notification of patent or utility model registration

Ref document number: 6809477

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151