JP4436392B2 - 映像処理装置 - Google Patents

Description

本発明は、車両に搭載されたカメラにより撮影された映像を処理する映像処理装置に関する。

近年、車両に搭載されたカメラにより撮影された映像を、車両の挙動に応じたタイミングで表示装置に表示せたり、車両の挙動に応じた画角の映像に変更して表示装置に表示させたりする映像処理装置が知られている。例えば、特許文献１に記載された車両用後退支援装置は、シフトポジションセンサ、車速センサ及びパーキングブレーキセンサから入力される信号に基づき、車両が前進駐車された後に後退状態になったか否かを判定し、この判定結果に基づいて、水平画角の広い広角映像と水平画角の狭い狭角映像とを切り替えてディスプレイに表示するように構成されている（特許文献１の段落「００３９」等参照）。
特開２００５−１１２２６７号公報

しかしながら、一般的に広角映像を得るためには、カメラが広角レンズ（いわゆる魚眼レンズ）を有している必要があり、その結果、ディスプレイに表示される映像は、周辺部が大きく歪んだ映像になる。例えば、特許文献１に記載された車両用後退支援装置におけるカメラは水平画角が１７０度の広角レンズであるため、ディスプレイに表示される映像の周辺部は大きく歪んでいると考えられる。

そこで、映像の歪補正技術により、表示装置に表示される映像の周辺部の歪みを補正することが考えられる。しかし、表示装置に表示される映像の画角の違いにより、映像の周辺部の歪具合が異なるため、一律に映像の周辺部の歪みを補正してしまうと画角によってはかえって映像を視認しづらくなる問題がある。また、運転者の好みによって希望する歪の補正量が異なり、歪補正量を固定してしまうと、運転者にとって使いづらい映像処理装置になってしまうという問題もある。

本願発明はこのようなかんがみなされたものであり、適正な歪補正を実行可能な映像処理装置を提供することを目的とする。

上記課題を解決するためになされた請求項１に記載の映像処理装置は、映像を映像信号により入力する映像入力手段と、映像入力手段によって入力された映像を映像信号により表示装置へ出力する手段であって、該映像信号に所定の画像を重畳することが可能に構成されている映像出力手段と、映像入力手段が入力する映像の画角を切り替える画角切替手段と、映像出力手段が出力する前記映像に対し歪補正を行う歪補正実行手段と、ユーザより歪補正に関する指令を受け付け、さらに、映像出力手段により出力される前記映像信号に重畳された操作用の画像を介して、該映像信号に係る映像について実現される歪補正量の段階を受け付け可能に構成されている指令受付手段と、歪補正方法に関する情報である歪補正情報を記憶する記憶手段と、画角切替手段により切り替えられた画角及び指令受付手段が受け付けた指令に応じた歪補正情報を記憶手段から読み出し、その読み出した歪補正情報に基づいた歪補正を歪補正実行手段に行わせる歪補正変更手段と、を備える。そして、歪補正変更手段は、記憶手段に記憶された歪補正情報に基づき実現される歪補正状態まで他の歪補正情報を用いなくても段階的に歪補正を歪補正実行手段に行わせることが可能であり、指令受付手段が受け付けた段階の歪補正を歪補正実行手段に行わせる。

このような映像処理装置によれば、表示装置に表示させる映像の画角に合った歪補正であってユーザの希望する歪補正を実現することができる。

また、このようになっていれば、記憶手段に記憶させる歪補正情報を変更することにより、例えば、ユーザの希望する歪補正を実現可能な歪補正情報に変更することができる。その結果、さらに適正な歪補正を実現することが可能になる。

また、このようになっていれば、実現する歪補正量の段階の数に比例させて記憶手段に記憶させる歪補正情報を用意しておくことなく、現在の歪補正状態から、特定の歪補正情報によって実現される歪補正量まで段階的に歪補正を実現することができる。

なお、具体的には、請求項２に記載の映像処理装置のようにして実現するとよい。つまり、歪補正変更手段は、記憶手段に記憶された歪補正情報に基づき実現される歪補正の補正量を分割し、その分割単位と段階とを対応させ、指令受付手段が受け付けた段階に対応する補正量だけ歪補正実行手段に歪補正を行わせるようにするとよい。例えば、補正前の座標（Ｘ１，Ｙ１）の画素情報（輝度情報や彩度情報等）が、記憶手段に記憶された歪補正情報に基づき実現される歪補正後には座標（Ｘ２，Ｙ２）へ移動する場合、移動量の分割数をＮ、指定された段階数をｋとすれば、補正前の座標（Ｘ１，Ｙ１）の画素情報の移動先は（Ｘ１＋（Ｘ２−Ｘ１）＊ｋ／Ｎ，Ｙ１＋（Ｙ２−Ｙ１）＊ｋ／Ｎ）となる。なお、分割する「補正量」としては、上述したように画素情報の移動量を分割するようにしてもよいし、画素情報の移動量は歪補正情報に基づく既定量としておき、移動先の画素における画素情報の変更量を分割するようにしてもよい。つまり、補正前の座標（Ｘ１，Ｙ１）の画素情報をＩとし、記憶手段に記憶された歪補正情報に基づき実現される歪補正後の座標（Ｘ１，Ｙ１）の画素情報をＩ’とした場合、変更量の分割数をＮ、指定された段階数をｋとすれば、補正後の座標（Ｘ１，Ｙ１）の画素情報Ｉ''は、Ｉ＋（Ｉ’−Ｉ）＊ｋ／Ｎとなる。

このような方法によれば、簡易な計算式によって段階的な歪補正を実現することができるため、映像処理装置の処理負荷が少なくて済む。
ところで、狭角画角の映像は、広角画角の映像と比べて映像周辺部の歪みが少ないという特徴がある。したがって、画角切替手段は、画角を二段階に切り替えることができるようになっている場合、歪補正実行手段は、画角切替手段により切り替えられた画角が広角側の画角である場合にのみ歪補正を行うようになっていてもよい（請求項３）。なお、画角切替手段により切り替えられた画角が広角側の画角である場合には、指令受付手段はユーザより歪補正に関する指令を受け付けない、もしくは、受け付けたとしても歪補正変更手段がそれに応じないことは言うまでもない。

このような映像処理装置であれば、映像処理装置の処理負荷を少なくすることができる。

以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。

［代表実施形態］
代表実施形態について説明する。
［構成の説明］
図１は、代表実施形態の映像処理装置１１及び映像処理装置１１に接続される各種装置類を説明するためのブロック図である。映像処理装置１１には、カメラ９１、シフトポジション検出センサ９２、及び、表示装置９３が接続されている。

（１）映像処理装置１１
映像処理装置１１は、カメラ９１から一種類の画角の映像（原映像）を入力し、原映像と、原映像から生成した画角の狭い映像とを切り替え、切り替えた映像を表示装置９３に出力させることができる処理装置である。映像処理装置１１は、第一処理部１２、第二処理部１３、情報入力インタフェース１４、操作部１５、記憶部１６、及び、制御部１７を備える。

（１−１）第一処理部１２
第一処理部１２は、入力した映像の画角を変更（切り出しズーム）する機能を有する部位であり、映像入力インタフェース２１、画角変更処理部２２、及び、映像出力インタフェース２３を備える。

映像入力インタフェース２１は、カメラ９１から映像信号を入力するためのインタフェースである。
画角変更処理部２２は、映像入力インタフェース２１から渡された映像信号を、制御部１７からの指令に基づいて狭角画角（原映像の画角よりも狭い画角（１３０度））の映像へ変更する機能を有する。画角の変更は、周知のデジタル映像処理技術（映像の切り出しや、デジタルズーム等）により行われ、狭角映像を得る。なお、画角変更処理部２２は、画角を変更しない映像（つまり広角映像である原映像）の映像信号をそのまま出力することもできるようになっている。

映像出力インタフェース２３は、画角変更処理部２２より得られた映像信号を、第二処理部１３へ出力するためのインタフェースである。
（１−２）第二処理部１３
第二処理部１３は、第一処理部１２から入力した映像に対し、歪補正を実行する機能を有する部位であり、映像入力インタフェース２４、歪補正部２５、及び、映像出力インタフェース２６を備える。

映像入力インタフェース２４は、第一処理部１２から映像信号を入力するためのインタフェースである。
歪補正部２５は、映像入力インタフェース２４から渡された映像信号に基づく映像に対し、制御部１７からのに基づき歪補正を実行する。なお、歪補正部２５は、制御部１７からの指示により、映像入力インタフェース２４から渡された映像信号をそのまま（歪補正を実行せずに）映像出力インタフェース２６へ出力することもできる。

映像出力インタフェース２６は、歪補正部２５より得られた映像信号を、表示装置９３へ出力するためのインタフェースである。
（１−３）情報入力インタフェース１４
情報入力インタフェース１４は、シフトポジション検出センサ９２からシフトポジション信号を入力するためのインタフェースである。

（１−４）操作部１５
操作部１５は、表示装置９３の表示面と積層一体化されたタッチパネル、表示装置９３の周囲に設けられたメカニカルなスイッチ、ステアリングに設けられたステアリングスイッチ等からなり、ユーザが映像処理装置１１に対して操作指令を入力可能なデバイスである。

（１−５）記憶部１６
記憶部１６は、ハードディスクやフラッシュメモリ等の不揮発性の記憶媒体を備え、歪補正方法に関する情報である歪補正情報や、前回使用した歪補正情報のＩＤ等を含む履歴テーブル、画角に対応した歪補正情報ＩＤを特定するための歪補正情報ＩＤ特定テーブル等を記憶する。歪補正情報や各テーブルの詳細については後述する。

（１−６）制御部１７
制御部１７は、周知のマイコンから構成され、ＲＯＭやフラッシュメモリ等に記憶されたプログラムに基づいて上述した各部を制御して各種の処理を実行する機能を有する。

（２）カメラ９１
車両の後部に備えられた車載用カメラであり、１８０度の画角で車両周辺を撮影可能なカメラである。カメラ９１が撮影された映像は映像信号として映像処理装置１１へ有線方式にて送信される。なお、周知の無線方式により映像信号を無線送信してもよい。

（３）シフトポジション検出センサ９２
シフトポジション検出センサ９２は、図示しないトランスミッションに設けられたセンサであり、トランスミッションのシフト位置を検出する機能を有するセンサである。シフトポジション検出センサ９２から得られる信号により、現在のシフトポジションがＤ（ドライブ）ポジションにあるのか、Ｎ（ニュートラル）ポジションにあるのか、Ｒ（リバース）ポジションにあるのかといったことを知ることができる。

（４）表示装置９３
表示装置９３は、液晶パネル等からなるカラー画像表示部（図示せず）を有し、映像処理装置１１から有線方式で入力された映像信号に基づいて映像を表示する。なお、カラー画像表示部の表示面には、上述した操作部１５の一部を構成するタッチパネルが積層一体化されている（図示せず）。

［動作の説明］
次に映像処理装置１１の動作を説明する。
（１）映像表示開始
映像の表示を開始させる際の映像処理装置１１の動作について、図２（ａ）のフローチャートを用いて説明する。なお、映像の表示は、車両の後退状態においてのみ実行可能な動作である。つまり、制御部１７が情報入力インタフェース１４を介してシフトポジション検出センサ９２から、現在のシフトポジションがＲポジションであることを示す信号を受信している状態でのみ、映像の表示を開始させることができる。

車両の後退状態において、制御部１７が操作部１５を介してユーザから映像表示指示を受け付けると、制御部１７は前回使用した画角、歪補正情報、及び、歪補正の段階を、履歴テーブルを参照して特定する（Ｓ１０５）。

ここで履歴テーブルについて、図３（ａ）のテーブル模式図を用いて具体的に説明する。図３（ａ）に示すように、履歴テーブルの各レコードは、項目として、「画角」、「歪補正情報ＩＤ」、「段階」、及び、「前回使用有無」を有する。「画角」は、広角画角か狭角画角かを示すデータ（”広角”又は”狭角”）が入る項目である。「歪補正情報ＩＤ」は、当該レコードの「画角」に入ったデータが示す画角（以下、「該当画角」と称す）の映像に対し、最後に行った歪補正の歪補正情報を識別するためのＩＤが入る項目である。「段階」は、該当画角の映像に対し、何段階目の歪補正を最後に行ったかを示す数字が入る項目である。「前回使用有無」は、該当画角の映像を最後に表示したか否かを示すデータ（”Ｙｅｓ”，”Ｎｏ”）が入る項目である。なお、”Ｙｅｓ”であるレコードは、履歴テーブル内で１レコードのみ存在する。このような履歴テーブルにより、最後に表示装置９３に表示させた映像の画角は、広角映像であって、その表示の際に使用した歪補正方法は、歪補正情報ＩＤが”００５”であり、歪補正の段階は”３”であるということがわかる。

説明を図２（ａ）に戻し、続いて制御部１７は、Ｓ１０５で特定した歪補正情報ＩＤに基づき、前回使用した歪補正情報を記憶部１６から読み出す（Ｓ１１０）。
続いて、制御部１７は、第一処理部１２に対し、Ｓ１０５で特定した画角（広角又は狭角）の映像を出力する旨の指令を送る（Ｓ１１５）。

Ｓ１１５の指令を受けた第一処理部１２の映像入力インタフェース２１は、カメラ９１から得られる映像信号を画角変更処理部２２へ送ることを開始する。また、Ｓ１１５の指令を受けた画角変更処理部２２は、Ｓ１０５で特定した画角が狭角であれば、受け取った映像（原映像）に対してデジタル映像処理を行うことを開始して映像出力インタフェース２３に送ることを開始する。このデジタル処理は、入力映像（原映像）から画角が１３０度になる領域を切り出し、その切り出した領域をデジタルズームすることである。一方、Ｓ１０５で特定した画角が広角であれば、画角の変更を行うことなく原映像（広角映像）をそのまま映像出力インタフェース２３へ送る。また、Ｓ１１５指令を受けた第一処理部１２の映像出力インタフェース２３は、画角変更処理部２２から渡された映像信号を、第二処理部１３へ送ることを開始する。

続いて、制御部１７は、第二処理部１３に対し、Ｓ１１０で読み出した歪補正情報に基づいてＳ１０５で特定した歪補正の段階の補正を行う旨の指令を送る（Ｓ１２０）。
Ｓ１２０の指令を受け取った第二処理部１３の映像入力インタフェース２４は、第一処理部１２から渡される映像信号を歪補正部２５へ送る。また、Ｓ１１５の指令を受け取った歪補正部２５は、受け取った映像信号に対して歪補正を行い、映像出力インタフェース２６へ送ることを開始する。歪補正の例については後述する。また、Ｓ１１５の指令を受け取った映像出力インタフェース２６は、歪補正部２５から受け取った映像信号を表示装置９３へ送ることを開始する。

この結果、表示装置９３には、歪補正のなされた映像が表示される。ここで、表示装置９３に表示される映像の具体例を図４及び図５に示す。
図４及び図５に示す映像は、自車両（映像処理装置１１が搭載された車両）の後方に位置する別車両が映像の中央部分に表示されており、映像の左端部分に自車両からみて左方に位置する別車両が表示されている。図４（ａ）と図４（ｂ）とは、歪補正の段階が異なる映像であり、図４（ｂ）の方が強く歪補正がかかっていることが、映像の左端部分に位置する別車両の形状から認識できる。また、図４（ａ）及び図４（ｂ）の映像には、共に映像右上方に上向き方向の矢印５０１と下向き方向の矢印５０２とが重畳されている。上向き方向の矢印５０１は、ユーザが歪補正の段階を強めることを指示するための操作アイコンであり、下向き方向の矢印５０２は、ユーザが歪補正の段階を弱めることを指示するための操作アイコンである。これらの矢印が操作されたとき（歪補正の段階を切り替える指示があったとき）の映像処理装置１１の動作については後述する。

また、図５（ａ）と図５（ｂ）とは、歪補正の段階が異なる映像であり、図５（ｂ）の方が強く歪補正がかかっていることが、映像の左端部分に位置する別車両の形状から認識できる。また、図５（ａ）及び図５（ｂ）の映像には、共に映像の下部にスライダ５１１が表示されている。スライダ５１１は、ユーザが操作子５１２を映像の左（Ｍｉｎ）方向又は右（Ｍａｘ）方向に移動させることができるようになっており、この操作子５１２の位置が歪補正の段階に対応している。つまり、ユーザが操作子５１２を映像の左方向に移動させれば、歪補正の段階を弱めることができ、ユーザが操作子５１２を映像に右方向に移動させれば、歪補正の段階を強めることができる。この操作子５１２が操作されたとき（歪補正の段階を切り替える指示があったとき）の映像処理装置１１の動作については後述する。

（２）歪補正の段階の変更
次に、歪補正の段階を変更する場合の映像処理装置１１の動作について、図２（ｂ）のフローチャートを用いて説明する。なお、歪補正の段階の変更は、表示装置９３に歪補正のなされた映像が表示された状態において可能な動作であり、制御部１７が操作部１５を介してユーザから歪補正の段階を切り替える指示を受け付けた際に実行が開始される動作である。具体的には、図４に示した上向き方向の矢印５０１、下向き方向の矢印５０２、図５に示したスライダ５１１の操作子５１２等がユーザにより操作された際に、歪補正の段階を切り替える動作が開始される。

歪補正の段階を切り替える動作が開始されると、制御部１７は、第二処理部１３に対して歪補正の段階変更の指令を送る（Ｓ１４０）。具体的には、図４の場合は、上向き方向の矢印５０１又は下向き方向の矢印５０２に対してなされたユーザの操作に基づいて、歪補正の段階を強めるのか弱めるのかを第二処理部１３に対して送信する。また、図５の場合は、スライダ５１１の操作子５１２に対してなされたユーザの操作に基づいて特定される歪補正の段階を第二処理部１３に対して送る。そして、制御部１７は、ユーザにより指定された歪補正の段階を記憶部１６の履歴テーブルに記憶する（Ｓ１４５）。

Ｓ１４０の指令を受けた第二処理部１３の歪補正部２５は、受けた指令に基づいて歪補正の段階を変更する。段階的な歪補正の実現方法については後述する。
この結果、表示部９３には、歪補正の段階が変更された映像が表示される。

（３）歪補正情報の変更
次に、参照する歪補正情報を変更する場合の映像処理装置１１の動作について、図２（ｃ）のフローチャートを用いて説明する。なお、歪補正情報の変更は、表示装置９３に映像が表示された状態において可能な動作であり、制御部１７が操作部１５を介してユーザから、希望する歪補正方法を受け付けた際に実行が開始される動作である。具体的には、例えば、方法Ａ、方法Ｂ、方法Ｃのそれぞれに対応したメカニカルなキースイッチや、操作アイコンが用意されており、これらキースイッチや操作アイコンが押下された際に動作が開始される。

歪補正情報を変更する動作が開始されると、制御部１７は、現在の表示画角及びユーザから受け付けた歪補正方法に対応する歪補正情報ＩＤを、歪補正情報ＩＤ特定テーブルを参照して特定する（Ｓ１６５）。ここで、歪補正方法について、図３（ｂ）のテーブル模式図を用いて説明する。図３（ｂ）に示すように、歪補正情報ＩＤ特定テーブルの各レコードは、項目として、「歪補正方法ＩＤ」、「歪補正情報ＩＤ（広角）」、「歪補正情報ＩＤ（狭角）」とを有する。「歪補正方法ＩＤ」は、歪補正方法を特定可能なＩＤが入る項目であり、このＩＤは、ユーザに指定される歪補正方法に対応するものである。「歪補正情報ＩＤ（広角）」は、当該レコードの「歪補正方法ＩＤ」に入ったデータが示す歪補正方法に対応した歪補正情報ＩＤであって、広角映像を表示装置９３に表示させている場合に対応する歪補正情報ＩＤである。「歪補正情報ＩＤ（狭角）」は、当該レコードの「歪補正方法ＩＤ」に入ったデータが示す歪補正方法に対応した歪補正情報ＩＤであって、狭角映像を表示装置９３に表示させている場合に対応する歪補正情報ＩＤである。したがって、例えば、表示装置９３に広角映像が表示されている状態において、方法Ｂに対応付けられたキースイッチがユーザに押下された場合は、歪補正情報ＩＤとして”００２”が特定される。

説明を図２（ｃ）に戻し、続いて、制御部１７は、Ｓ１６５で特定した歪補正情報ＩＤに対応する歪補正情報を記憶部１６から読み出す（Ｓ１７０）。そして、第二処理部１３に対して、使用する歪補正情報を、Ｓ１７０で読み出した歪補正情報に変更するように指令を送る（Ｓ１７５）。

この指令を受け取った歪補正部２５は、歪補正に用いる歪補正情報を制御部１７に指定されたものに変更し、映像入力インタフェース２５より渡される映像に対して歪補正を行う。なお、歪補正の段階は、一律に所定の段階（例えば中間段階）に初期化される。

続いて、制御部１７は、Ｓ１６５で特定した歪性情報ＩＤ及び、初期化された歪補正の段階によって記憶部１６の履歴テーブルを更新する（Ｓ１８０）。
［段階的な歪補正の実現方法］
（１）第一の方法
第一の方法は、歪補正時における画素情報の移動量は歪補正情報に基づく既定量としておき、移動先の画素における画素情報の変更量を段階的に変更することにより段階的な歪補正を実現する方法である。この方法について、図６の説明図を用いて説明する。

図６（ａ）は、マップ形式によって表現された歪補正情報の一例である。この歪補正情報は、最大段階の歪補正を行う場合について、表示装置９３に表示させる映像を構成するドット毎に画素情報（輝度情報や彩度情報等）の取得位置が示されている。例えば、Ｘ座標が”１”でＹ座標が”１”である画素の歪補正情報は（１．２，１．３）であるが、これは、歪補正をかける際、Ｘ座標が”１”でＹ座標が”１”である画素の画素情報は、Ｘ座標が”１．２”でＹ座標が”１．３”である位置に存在する画素の画素情報を用いるということを表している。なお、実際の映像に、Ｘ座標が”１．２”でＹ座標が”１．３”である画素が存在しない場合には、その画素が存在すると仮定して画素情報を推定する。例えば、Ｘ座標が”１．２”でＹ座標が”１．３”である画素（仮想画素）の画素情報は、仮想画素の周囲に現実に存在する画素を特定し、その特定した各画素の画素情報を、仮想画素との距離に応じて加重平均することによって求めることが考えられる。

このようにして、最大段階の歪補正を行った場合の各画素の画素情報を計算し、入力映像の各画素の画素情報との差分を求め、求めた差分を最大段階数によって割り、割ったものに対して所望の歪補正の段階をかけ合わせ、かけ合わせたものを入力映像の各画素の画素情報に足し合わせることにより、段階的な歪補正を実現する。

ここで、より具体的に説明する。
図６（ｂ）に示すように、Ｉ（ｘ，ｙ）は入力映像の画素情報を表し、Ｉ’（ｘ，ｙ）は最大段階の歪補正を行った映像の画素情報を表し、Ｉ''（ｘ，ｙ）は所望の段階の歪補正を行った映像の画素情報を表すとする。すると、最大段階の歪補正を行った映像の画素情報は、図６（ｃ）に示す通りである（一部の画素のみ例示）。また、所望の段階の歪補正を行った映像の画素情報は、図６（ｄ）に示す通りである（一部の画素のみ例示）。これらを視覚的に示すと、図６（ｅ）のようになる。［入力映像］に示すように、格子の交点に位置する画素（●印）は、それぞれの近くに位置する■印の仮想画素の画素情報を用い、最大段階の歪補正を行った映像の画素情報とする（［歪補正映像（最大）］参照）。そして、［入力映像］と［歪補正映像（最大）］との画素毎の差分を求め、求めた差分を最大段階数によって割り、割ったものに対して所望の歪補正の段階をかけ合わせ、かけ合わせたものを［入力映像］の各画素の画素情報に足し合わせることにより、［出力映像］を求める。

（２）第二の方法
第二の方法は、歪補正時における画素情報の移動量を段階的に変更することにより段階的な歪補正を実現する方法である。この方法について、図７の説明図を用いて説明する。

図７（ａ）に示す数式群１は、歪補正情報の一例である。この歪補正情報は、等距離射影方式のレンズを有するカメラによって撮影された映像を、立体射影方式のレンズを有するカメラによって撮影された映像と同等の映像に補正するための数式である。添え字の「equid」は等距離射影方式を意味し、「stero」は立体射影方式を意味する。また、”ｆ”は、レンズの焦点距離である。

なお、一般的に、立体射影方式のレンズを有するカメラによって撮影された映像は、等距離射影方式のレンズを有するカメラによって撮影された映像に比較して映像周辺部の情報量が多いという特性を有する一方で、映像中央部の情報量が少ないという特性を有する。つまり、歪具合が異なる。

図７（ｂ）に示す数式群２は、段階的な歪補正を実現するための数式群である。数式群１と数式群２により、等距離射影方式のレンズを有するカメラによって撮影された映像を、立体射影方式のレンズを有するカメラによって撮影された映像へ、段階的に補正することができる。

図７（ｃ）に示す数式群３は、等距離射影方式のレンズを有するカメラによって撮影された映像を、立体射影方式のレンズを有するカメラによって撮影された映像と同等の映像に補正する場合の歪補正情報である。したがって、数式群３と、数式群２の添え字の「stero」と「equid」を入れ替えた数式群とを組み合わせることにより、立体射影方式のレンズを有するカメラによって撮影された映像を、等距離射影方式のレンズを有するカメラによって撮影された映像へ、段階的に補正することができる。

［代表実施形態の効果］
上述した映像処理装置１１によれば、ユーザが歪補正情報を変更した場合、制御部１７が、ユーザの所望する歪補正方法に対応した歪補正情報であって、現在、表示装置９３に表示されている映像の画角に対応する歪補正情報が特定されて歪補正が実行されるため（Ｓ１６５〜Ｓ１７５）。適正な歪補正を行うことができる。

また、歪補正情報等は、記憶部１６に記憶されており変更可能であるため、より適した歪補正情報を実行可能な映像処理装置１１にアップグレードすることも可能である。
また、映像処理装置１１は、記憶部１６に記憶された歪補正情報に基づき実現される歪補正状態まで他の歪補正情報を用いなくても段階的に歪補正を歪補正部２５に行わせることが可能であり、操作部１５が受け付けた段階の歪補正を歪補正部２５に行わせるようになっている（Ｓ１４０）。このため、実現する歪補正量の段階の数に比例させて記憶部１６に記憶させる歪補正情報を増やすことなく、現在の歪補正状態から、特定の歪補正情報によって実現される歪補正量まで段階的に歪補正を実現することができる。

また、歪補正部２５は、記憶部１６に記憶された歪補正情報に基づき実現される歪補正の補正量を分割し、その分割単位と段階とを対応させ、操作部１５が受け付けた段階に対応する補正量だけ歪補正部２５に歪補正を行わせるようになっている（上記［段階的な歪補正の実現方法］参照）。このように、簡易な計算式によって段階的な歪補正を実現するため、映像処理装置１１の処理負荷が少なくて済む。

［特許請求の範囲との対応］
代表実施形態の説明で用いた用語と、特許請求の範囲に記載した用語との対応を示す。
第二処理部１３の映像入力インタフェース２４が映像入力手段に相当し、制御部１７が画角切替手段及び歪補正変更手段に相当し、第二処理部１３の映像出力インタフェース２６が映像出力手段に相当し、歪補正部２５が歪補正実行手段に相当し、操作部１５が指令受付手段に相当し、記憶部１６が記憶手段に相当する。

［他の実施形態］
（１）変形形態１
上述した代表実施形態の映像処理装置１１は、入力した映像の画角を変更した映像を出力可能な部位（画角変更処理部２２）を有していたが、カメラ自身が画角変更機能を有している場合は、映像処理装置１１から上記部位を無くしてもよい。

具体的な構成としては、図８に示すような映像処理装置３１が考えられる。この映像処理装置３１には、広角・狭角切替機能付きカメラ９４、シフトポジション検出センサ９２、及び、表示装置９３が接続されている。なお、広角・狭角切替機能付きカメラ９４は、外部からの指令によって広角映像（画角が１８０度ある映像）と狭角映像（画角が１３０度である映像）とを光学機構によって切り替えて出力することができるカメラである。シフトポジション検出センサ９２及び表示装置９３は、上述した代表実施形態のものと同じである。また、映像処理装置３１は、映像入力インタフェース３２、歪補正部３３、映像出力インタフェース３４、情報入出力インタフェース３５、操作部３６、記憶部３７、及び、制御部３８を備える。

映像入力インタフェース３２は、広角・狭角切替機能付きカメラ９４から映像信号を入力するためのインタフェースである。
歪補正部３３は、映像入力インタフェース３２から渡された映像信号に基づく映像に対し、制御部３８からの指示により指定された歪補正情報及び歪補正の段階（レベル）に基づき歪補正を実行する。なお、歪補正部３３は、制御部３８からの指示により、歪補正を実行せずに映像入力インタフェース３２から渡された映像信号をそのまま映像出力インタフェース３４へ出力することもできる。

映像出力インタフェース３４は、歪補正部３３より得られた映像の映像信号を、表示装置９３へ出力するためのインタフェースである。
情報入出力インタフェース３５は、シフトポジション検出センサ９２から各種信号を入力するため、及び、広角・狭角切替機能付きカメラ９４へ画角切り替え指示信号を出力するためのインタフェースである。

操作部３６は、表示装置９３の表示面と積層一体化されたタッチパネル、表示装置９３の周囲に設けられたメカニカルなスイッチ、ステアリングに設けられたステアリングスイッチ等からなり、ユーザが映像処理装置３１に対して操作指令を入力可能なデバイスである。

記憶部３７は、ハードディスクやフラッシュメモリ等の不揮発性の記憶媒体を備え、歪補正方法に関する情報である歪補正情報や、前回使用した歪補正情報のＩＤ等を含む履歴テーブル等を記憶する。

制御部３８は、周知のマイコンから構成され、ＲＯＭやフラッシュメモリ等に記憶されたプログラムに基づいて上述した各部を制御して各種の処理を実行する機能を有する。
以上、構成について説明したが、次に動作について説明する。

上述した代表実施形態の映像処理装置１１と比較した場合の動作の相違点は、上述した代表実施形態の映像処理装置１１では、制御部１７が画角変更処理部２２に対して画角変更指令を出していたが、変形形態１の映像処理装置３１では、制御部３８が情報入出力インタフェース３５を介して広角・狭角切替機能付きカメラ９４に対して画角変更指令を出す点が主に異なる。それ以外については、基本的に上述した代表実施形態の映像処理装置１１の動作と同じである。

このような映像処理装置３１によっても、上述した実施形態の映像処理装置１１と同様の効果を得ることができる。
なお、変形形態１の場合、映像入力インタフェース３２が映像入力手段に相当し、制御部３８が画角切替手段及び歪補正変更手段に相当し、映像出力インタフェース３４が映像出力手段に相当し、歪補正部３３が歪補正実行手段に相当し、範囲表示処理手段に相当し、記憶部３７が記憶手段に相当する。

（２）変形形態２
上述した実施形態の映像処理装置１１，３１は、広角画角の映像を表示させる際にも狭角画角の映像を表示する際にも歪補正を行うようになっていたが、広角画角の映像を表示させる際にだけ歪補正を行うようになっていてもよい。そして、歪補正の段階の変更や、歪補正情報の変更も、広角画角の映像を表示させる際にだけ実行するようになっていてもよい。

一般的に、１３０度程度の狭角画角の映像は、１８０度程度の広角画角の映像と比べて映像周辺部の歪みが少ないという特徴があるため、広角画角の映像を表示させる際にだけ歪補正を行うようになっていても、ユーザが感じる映像に対する違和感は少ないと考えられる。そして、このようになっていれば、映像処理装置の処理負荷を少なくすることもできる。

代表実施形態の映像処理装置の概略構成を説明するためのブロック図である。 映像処理装置の動作を説明するためのフローチャートである。 履歴テーブル及び歪補正情報ＩＤ特定テーブルを説明するためのテーブル模式図である。 表示装置に表示される映像例である。 表示装置に表示される映像例である。 段階的な歪補正の実現方法を説明するための説明図である。 段階的な歪補正の実現方法を説明するための説明図である。 変形形態の映像処理装置の概略構成を説明するためのブロック図である。

符号の説明

１１…映像処理装置、１２…第一処理部、１３…第二処理部、１４…情報入力インタフェース、１５…操作部、１６…記憶部、１７…制御部、２１…映像入力インタフェース、２２…画角変更処理部、２３…映像出力インタフェース、２４…映像入力インタフェース、２５…歪補正部、２６…映像出力インタフェース、３１…映像処理装置、３２…映像入力インタフェース、３３…歪補正部、３４…映像出力インタフェース、３５…情報入出力インタフェース、３６…操作部、３７…記憶部、３８…制御部、９１…カメラ、９２…シフトポジション検出センサ、９３…表示装置、９４…広角・狭角切替機能付きカメラ。

Claims (3)

1. 映像を映像信号により入力する映像入力手段と、
   前記映像入力手段によって入力された映像を映像信号により表示装置へ出力する手段であって、該映像信号に所定の画像を重畳することが可能に構成されている映像出力手段と、
   前記映像入力手段が入力する映像の画角を切り替える画角切替手段と、
   前記映像出力手段が出力する前記映像に対し歪補正を行う歪補正実行手段と、
   ユーザより歪補正に関する指令を受け付け、さらに、前記映像出力手段により出力される前記映像信号に重畳された操作用の画像を介して、該映像信号に係る映像について実現される歪補正量の段階を受け付け可能に構成されている指令受付手段と、
   歪補正方法に関する情報である歪補正情報を記憶する記憶手段と、
   前記画角切替手段により切り替えられた画角及び前記指令受付手段が受け付けた前記指令に応じた前記歪補正情報を前記記憶手段から読み出し、その読み出した前記歪補正情報に基づいた歪補正を前記歪補正実行手段に行わせる歪補正変更手段と、
   を備え、
   前記歪補正変更手段は、前記記憶手段に記憶された前記歪補正情報に基づき実現される歪補正状態まで他の前記歪補正情報を用いなくても段階的に歪補正を前記歪補正実行手段に行わせることが可能であり、前記指令受付手段が受け付けた前記段階の歪補正を前記歪補正実行手段に行わせること、
   を特徴とする映像処理装置。
2. 請求項１に記載の映像処理装置において、
   前記歪補正変更手段は、前記記憶手段に記憶された前記歪補正情報に基づき実現される歪補正の補正量を分割し、その分割単位と前記段階とを対応させ、前記指令受付手段が受け付けた前記段階に対応する補正量だけ前記歪補正実行手段に歪補正を行わせること、
   を特徴とする映像処理装置。
3. 請求項１または請求項２のいずれかに記載の映像処理装置において、
   前記画角切替手段は、前記画角を二段階に切り替えることができ、
   前記歪補正実行手段は、前記画角切替手段により切り替えられた画角が広角側の画角である場合にのみ歪補正を行うこと、
   を特徴とする映像処理装置。

Images