JP6197771B2 - 画像接合装置、撮像装置、画像接合方法、及び画像接合プログラム - Google Patents

画像接合装置、撮像装置、画像接合方法、及び画像接合プログラム Download PDF

Info

Publication number
JP6197771B2
JP6197771B2 JP2014195118A JP2014195118A JP6197771B2 JP 6197771 B2 JP6197771 B2 JP 6197771B2 JP 2014195118 A JP2014195118 A JP 2014195118A JP 2014195118 A JP2014195118 A JP 2014195118A JP 6197771 B2 JP6197771 B2 JP 6197771B2
Authority
JP
Japan
Prior art keywords
image
unit
difference
images
adjacent pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014195118A
Other languages
English (en)
Other versions
JP2016066927A (ja
Inventor
山田 邦男
邦男 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2014195118A priority Critical patent/JP6197771B2/ja
Priority to PCT/JP2015/004608 priority patent/WO2016047073A1/ja
Publication of JP2016066927A publication Critical patent/JP2016066927A/ja
Priority to US15/454,999 priority patent/US10154195B2/en
Application granted granted Critical
Publication of JP6197771B2 publication Critical patent/JP6197771B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/73
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38Registration of image sequences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Description

本発明は画像接合装置、撮像装置、画像接合方法、及び画像接合プログラムに関し、例えば複数の静止画もしくは動画シーケンスを接合して静止画像を作成する画像接合装置、撮像装置、画像接合方法、及び画像接合プログラムに関する。
近年、長大な被写体をカバーするように手動でカメラを動かして動画を撮影し、その動画を構成する複数のフレームを接合して静止画パノラマを作成する手法が実用化されている。例えば、このパノラマ作成手法は、デジタルカメラの付加機能などの形で一般化している。また、このパノラマ作成手法では特許文献1〜3に記されているように、パンニング撮影における動きベクトルを導出して、それに基づいて画像をつなぎ合わせる幅を制御することを基本としている。
一方、それ以前にも複数の静止画像もしくは動画シーケンスを接続してより大きな画像を構成する技術は古くから存在し、この技術はパノラマのほかフォトモザイキングなどと呼ばれて一般的に広く知られている。特にデジタルカメラの普及以降、このような画像処理を自動もしくは半自動で行うソフトウェアも普及している。そして、上記の特許文献1〜3は基本的に直線的なカメラ軌跡を前提としているが、原理的に2次元的に自由なカメラ軌跡で撮影された動画を接合する技術として、特許文献4〜6、非特許文献1に開示されたものがある。
特許3158735号公報 特開平6−284321号公報 特許3421859号公報 特開2006−135386号公報 特開2013−30874号公報 特開2013−30875号公報
M. G. Gonzalez, P. Holifield and M. Varley, "Improved Video Mosaic Construction by Accumulated Alignment Error Distribution", Proceedings of the British Machine Conference, pp. 38.1-38.11, BMVA Press, September 1998.
しかしながら、従来の画像接合では、隣接画像との間に、露出・色相の変化を原因とする目立つ境目が発生するという問題があった。
本発明はこうした状況に鑑みてなされたものであり、輝度や色の違いを目立たなく画像接合を行う画像接合装置、撮像装置、画像接合方法、及び画像接合プログラムを提供することを目的としている。
そこで、本発明は、複数の画像間の動きベクトルを検出する動きベクトル検出部と、前記動きベクトルを用いて、前記複数の画像間の位置の差を補償する補正を画像に行い、動き補償画像を生成する動き補償部と、前記複数の画像のいずれかを選択し、選択画像において隣接する画素間の差分値が所定の値以上であるか否か判定する差分判定部と、前記選択画像において、隣接する画素間の差分値が所定の値以上である領域において、前記選択画像を他の画像に対して上書きする上書き部と、前記選択画像において、隣接する画素間の差分値が所定の値未満である領域において、前記選択画像と他の画像とを局所的に混合する混合部と、を備えることを特徴とする画像接合装置を提供する。
そこで、本発明は、複数の画像間の動きベクトルを検出する動きベクトル検出部と、前記動きベクトルを用いて、前記複数の画像間の位置の差を補償する補正を画像に行い、動き補償画像を生成する動き補償部と、前記複数の画像のいずれかを選択し、選択画像において隣接する画素間の差分値が所定の値以上であるか否か判定する差分判定部と、前記選択画像において、隣接する画素間の差分値が所定の値以上である領域において、前記選択画像を他の画像に対して上書きする上書き部と、前記選択画像において、隣接する画素間の差分値が所定の値未満である領域において、前記選択画像と他の画像とを局所的に混合する混合部と、を備えることを特徴とする画像接合部と、画像を連続して撮像する動画撮像部と、画像を記憶する記憶部と、画像を表示する表示部と、を備え、前記画像接合部は、前記動画撮像部が撮像した複数の画像を接合し、前記記憶部は、前記画像接合部が接合した画像を記憶し、前記表示部は、前記画像接合部が接合した画像を表示することを特徴とする撮像装置を提供する。
そこで、本発明は、複数の画像間の位置の差を補償する補正を画像に行う動き補正工程と、画像において隣接する画素間の差分値が所定の値以上であるか否か判定する差分判定工程と、隣接する画素間の差分値が所定の値以上である領域において、前記画像を他の画像に対して上書きする上書き工程と、隣接する画素間の差分値が所定の値未満である領域において、前記画像と他の画像とを局所的に混合する局所的混合工程と、を備えることを特徴とする画像接合方法を提供する。
そこで、本発明は、画像入力装置から画像を入力するステップと、複数の画像間の位置の差を補償する補正を画像に行う動き補正ステップと、画像において隣接する画素間の差分値が所定の値以上であるか否か判定する差分判定ステップと、隣接する画素間の差分値が所定の値以上である領域において、前記画像を他の画像に対して上書きする上書きステップと、隣接する画素間の差分値が所定の値未満である領域において、前記画像と他の画像とを局所的に混合する局所的混合ステップと、上書き及び局所的に混合した画像を画像出力装置に出力する出力ステップと、をコンピュータに実行させる画像接合プログラムを提供する。
本発明によれば、隣接する画素間の差分値がより大きい場合に、画像を上書きし、隣接する画素間の差分値がより小さい場合には、画像同士を局所的に混合することにより、画素間の差分値に応じた処理を行うことができ、輝度や色の違いを目立たなく画像を接合することができる。
本発明の実施の形態にかかる画像接合装置の構成を示すブロック図である。 本発明の実施の形態にかかる画像接合装置の動作を示すフローチャートである。 本発明の実施の形態にかかる画像接合装置の画像合成部14の構成を示すブロック図である。 本発明の実施の形態にかかる画像接合装置の混合部16の構成を示すブロック図である。 本発明の実施の形態にかかる画像接合装置の画像処理の例を示す図である。 本発明の実施の形態にかかる画像接合装置の画像処理の例を示す図である。 本発明の実施の形態にかかる撮像装置の構成を示すブロック図である。
実施の形態
以下、図面を参照して本発明の実施の形態について説明する。
図1は、本発明の実施の形態にかかる画像接合装置の構成を示すブロック図である。図1において、画像接合装置1は、動きベクトル検出部11と、動き補償部12と、差分判定部13と、画像合成部14とを有する。そして、画像合成部14は、上書き部15と、混合部16とを有する。そして、画像接合装置1は、時間間隔をあけて入力された複数の画像を接合する処理を行う。まず、画像接合装置1は、入力された画像を動きベクトル検出部11、動き補償部12、差分判定部13、及び画像合成部14においてそれぞれ処理する。
動きベクトル検出部11は、マッチング評価手法を用いて動きベクトルの検出を行う。例えば、動きベクトル検出部11は、2枚あるいは3枚以上の画像を比較し、画像間で共通するオブジェクトが画像データ中の座標上で移動した移動量を求める。そして、動きベクトル検出部11は、移動量をベクトルデータである動きベクトルとして動き補償部12に出力する。
得られた動きベクトルは事実上画像データ間(フレーム間)のオブジェクト(テクスチャ)の位置ずれであるので、これに従って相互の位置合わせを行って時間的に後の画像データ(フレーム)のオブジェクト(テクスチャ)の上書きを繰り返すことにより接合画像が生成される。
動き補償部12は、画像データの各画素に対して、動きベクトル分の移動量を減算した座標に移動する。すなわち動き補償部12は、複数の画像データ間で、共通するオブジェクトが同じ座標に存在するように画像データの各画素の移動を行うことにより、複数の画像間での位置の差を補償する。そして、動き補償部12は、補償後の画像データを差分判定部13及び画像合成部14に出力する。
差分判定部13は、画像データに対して、画素単位で、隣接する画素との差聞知が所定の値以上であるか、所定の値未満であるか判定する。例えば、画像データの輝度値が8ビット256段階のデータで表される場合に、ある画素と、隣接する画素との輝度値の差が10以上であるか10未満であるか判定する。一般に、隣接する画素は、ある画素に対して、画像の二次元座標のX軸またはY軸のいずれか又は両方で、画素単位の座標が+1または−1された位置にある画素である。判定の対象とする画像データは、動き補償後の画像でも良いし、動き補償前の画像でも良い。
そして、差分判定部13は、隣接する画素との差分値が所定の値以上である領域と、隣接する画素との差分値が所定の値未満である領域とを決定し、決定した領域の座標データ及び各領域の判定結果を画像合成部14に出力する。
画像合成部14は、差分値が所定の値以上である領域について、上書き部15にて画像データを上書きする。画像合成部14は、領域をすべて上書きする、いわゆる「ソリッド塗りつぶし」により画像データを上書きする。上書きする画像データ及び上書きされる画像データについて、差分判定した画像データを上書きする側の画像データとし、他を上書きされる画像データとすることができるが、逆の組み合わせとしても良い。また、撮影時刻がより新しい画像データを上書きする画像データとし、撮影時刻がより古い画像データを上書きされるデータとしても良い。また時刻と上書きの関係を逆としても良い。
そして、画像合成部14は、差分値が所定の値未満である領域について、混合部16にて画像データを局所的に混合する。すなわち画像合成部14は、画素単位で2つの画像のいずれかを上書きするかを判断する。すなわち、画像合成部14は、差分値が所定の値未満である領域については、2つの画像の画素のいずれかをランダムまたは所定のパターンで選択し、選択した画像の画素を上書きする。この処理により、画素単位で異なる画像からの画素を選択することにより、局所的に混合する画像領域を生成することができる。
そして、画像合成部14は、領域別に上書き又は局所的に混合した画像を出力する。また、画像合成部14は、更に連続して画像データを上書き及び局所的に混合をするために、上書き及び局所的に混合した後の画像データを保存しても良い。
次に図1の画像接合装置1の動作手順について説明する。図2は、本発明の実施の形態にかかる画像接合装置の動作を示すフローチャートである。
ステップS20において、画像接合装置1は、画像データの入力を受け付け、ステップS21に進む。ステップS21において、画像接合装置1は、入力を受け付けた画像データが2枚以上であるか否か判断する。そして、入力を受け付けた画像データが2枚未満である場合には、ステップS20に戻り、入力を受け付けた画像データが2枚以上である場合には、ステップS22に進む。
ステップS22において、動きベクトル検出部11は、複数の画像間の動きベクトルを検出して、ステップS23に進む。ステップS23において、動き補償部12は、動きベクトルに基づいて画像の位置を補償する補正を行い、ステップS24に進む。
ステップS24において、差分判定部13は、隣接する画素間の差分値を算出し、ステップS25に進む。ステップS25において、差分判定部13は、隣接する画素間の差分値が所定の値以上であるか否かを判定する。隣接する画素間の差分値が所定の値以上である場合には、ステップS26に進み、隣接する画素間の差分値が所定の値未満である場合には、ステップS27に進む。
ステップS26において、上書き部15は、画像を上書きしてステップS28に進む。ステップS27において、混合部16は、複数の画像を局所的に混合してステップS28に進む。
ステップS28において、画像接合装置1は、画像データ内のすべての領域において、上書き処理または局所的に混合する処理が完了したか否か判断する。画像データ内のすべての領域において、上書き処理または局所的に混合する処理が完了した場合、ステップS29に進み、上書き処理または局所的に混合する処理が完了していない場合、ステップS25に戻る。
ステップS29において、画像接合装置1は、次に処理する画像データがあるか否か判断する。次に処理する画像データがある場合には、ステップS20に戻り、次に処理する画像データがない場合には、処理を終了する。
このように本発明の実施の形態にかかる画像接合装置は、隣接する画素間の差分値がより大きい場合に、画像を上書きし、隣接する画素間の差分値がより小さい場合には、画像同士を局所的に混合することにより、画素間の差分値に応じた処理を行うことができ、色の違いを目立たせずに画像を接合することができる。
なお、図1の説明では、上書き処理を行った後に、局所的に混合する処理を行う構成であるが、上書き処理及び局所的に混合する処理を行う順序は逆でも良い。
また、上書き処理及び局所的に混合する処理を同時または平行して行っても良い。図3は、本発明の実施の形態にかかる画像接合装置の画像合成部14の構成を示すブロック図である。図3において、画像合成部14は、上書き部31と、混合部32と、二種画像合成部33とを有する。
画像合成部14は、入力を受け付けた画像データ、動き補償を行った画像データ及び差分値情報を上書き部31と混合部32に転送する。そして、画像合成部14は、差分値が所定の値以上である領域について、上書き部31にて画像データを上書きする。また、画像合成部14は、差分値が所定の値未満である領域について、混合部32にて画像データを局所的に混合する。
そして、画像合成部14は、領域別に上書き及び局所的に混合した両方の画像データを二種画像合成部33において合成し、合成後の画像データを出力する。
このように、本発明の実施の形態にかかる画像接合装置は、同じ画像データを複数用意して、上書きと局所的に混合することを平行して別個に行うことにより、異なる画像処理を同時に行うことができるので、処理速度を高めることができる。
次に本発明の実施の形態にかかる画像接合装置の各構成の詳細について説明する。図4は、本発明の実施の形態にかかる画像接合装置の混合部16の構成を示すブロック図である。図4では、混合部16がエアブラシ的な粗密の変化を伴う画像データの合成を行う例について説明する。この粗密の変化を、例えるなら、スプレーの霧の粒の濃度の変化をイメージするものであり、本実施の形態では「ミスト」と表現して説明する。
図4において、混合部16は、ミストテーブル41と、乱数発生部42と、比較部43と、テクスチャ上書き制御部44とを有する。
ミストテーブル41は、二次元座標とミスト濃度とを対応付けたテーブルである。ミストの濃度は上書きするテクスチャの画素の幾何学的位置に依存するものとし、予め0〜1の範囲に設定しておく。0はオフすなわち画素の更新無しで、1は常に更新である。中間の場合は濃度の確率に依存したランダムなオンオフを行うものとする。
乱数発生部42は、画素単位でミスト濃度と比較するための閾値を乱数で生成し、乱数を比較部43に出力する。上述するようにミスト濃度は予め0〜1の範囲に設定したものであるので、乱数発生部42は、0〜1の範囲で乱数を生成する。乱数の生成方法としては、例えば、乱数発生部42は、コンピュータにおいて疑似乱数列により乱数を生成する。
比較部43は、ミストテーブル41から出力されたミスト濃度と、乱数発生部42において生成された乱数とを画素単位で比較する。そして、比較部43は、比較結果をテクスチャ上書き制御部44に出力する。例えば、ミスト濃度が乱数以上である場合には、比較部43は、1を出力する。また、ミスト濃度が乱数未満である場合には、比較部43は、0を出力する。
テクスチャ上書き制御部44は、比較部43の比較結果に基づき、画素単位で、上書きする画像データで更新する、更新せずに上書きされる画像データのままとする制御を行い、画像データを局所的に混合する。具体的には、テクスチャ上書き制御部44は、ミスト濃度が乱数以上である場合には、画素を上書き更新し、ミスト濃度が乱数未満である場合には、画素を更新しない。そして、テクスチャ上書き制御部44は局所的に混合する処理後の画像データを出力する。
以上の構成により、ミスト濃度に応じたランダムな更新の有無を決定することができ、エアブラシ的上書きが実現される。
なお、ミスト濃度のデータは座標に対するテーブルのような形で保持しても良く、自動発生させるようなアルゴリズムを設計してコンピュータで実行する形態をとることもできる。また、ミスト濃度は、形態的にもそれほど厳密でなくてもよく、図5のような一般的な矩形のものについて中央部分の領域51が1(ソリッド領域)、外周の領域52で表されるミスト領域については外周に向かって1から0に少しずつ低下するようなグラデーションになるような設定すればよい。また、テクスチャ上書きの形状は矩形に限定されず、例えば図6のような円形のものでも構わない。ここでも内側の円の範囲61では濃度1で、外側の円の範囲62では、外周に向かい1から0に低下させる。さらに円形以外の自由な形状においても同様な設定をすることで利用可能である。
このように本実施の形態の画像接合装置によれば、画像端部についてより端に行くほど疎に上書きを行うエアブラシ的な処理を行うことにより目立つ境目の発生を回避し、同時に、一般に境目が目立たない高域を含むテクスチャについては通常の上書きを行うことで画像がノイジーになることを回避することができる。
次に、本発明の実施の形態にかかる画像接合装置を用いた撮像装置について説明する。図7は、本発明の実施の形態にかかる撮像装置の構成を示すブロック図である。図7において、撮像装置7は、画像接合装置1と、撮像部71と、記憶部72と、表示部73とを有する。
撮像部71は、被写体を複数のタイミングで連続的に撮像し、撮像した画像データを画像接合装置1に出力する。画像接合装置1は、撮像した画像データを接合し、接合した画像データを記憶部72及び表示部73に出力する。撮像部71は、CCD素子またはCMOS素子、及びレンズを備える構成が好適である。また撮像部71は画像接合装置1と異なる場所に配置し、有線または無線通信等により撮像データを画像接合装置1に送信する構成であっても良い。
記憶部72は、画像接合装置1において接合された画像データを記憶する。また、記憶部72は、記憶した画像データを表示部73に出力する。記憶部72は、RAMなどの半導体メモリであっても良いし、ハードディスク等の磁気記録媒体、DVD等の光磁気記録媒体であっても良い。
表示部73は、画像接合装置1または記憶部72から出力された画像を表示する。表示部73は、例えば、液晶ディスプレイ、有機ELディスプレイまたはプラズマディスプレイで構成するのが好適である。
このように本実施の形態の撮像装置によれば、パノラマ撮影等の撮影方向を変化させて連続撮影し、複数の画像を接合する場合に、隣接する画素間の差分値がより大きい場合に、画像を上書きし、隣接する画素間の差分値がより小さい場合には、画像同士を局所的に混合することにより、画素間の差分値に応じた処理を行うことができ、色の違いを目立たせずに画像を接合することができる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
例えば、動きベクトル検出部11は、具体的な動きベクトルの検出方法として、2つのフレーム内のブロック間でブロックマッチングを実行して、輝度値の絶対値誤差または二乗誤差が最小となるブロックのペアを探索し、このペア同士を結ぶベクトルを動きベクトルとして採用するという手順で行われても良い。また、隣接ブロック間での動きベクトルの相関性を利用してより正確な動きベクトルを選択しても良い。例えば、入力される映像信号の現在フレームの基準ブロックの位置が、動作量が少ない映像領域と隣接した事物の境界領域であるか否かに基づき、基準ブロックの動作ベクトルをメディアンフィルタリングすることもできる。
また、上記説明では、上書き又は局所的混合のいずれかを判定する値として、画素間の差分値を用いているが、判定する具体的な差分値は、輝度値、色差値等、色に関するパラメータの差分はいずれも適用できる。例えば、RGBまたはRGBAにおける赤、緑、青の輝度、色の透明度、CMY、CMYK、CNKにおけるシアン、マゼンダ、黄色、黒の色の度合い、HSV色空間における色相、彩度、明度、HLS色空間における、色相、彩度、輝度、YUV色空間における、輝度及び各定数、Lab色空間における明度、赤/マゼンタと緑の間の位置、黄色と青の間の位置、のいずれかの差分値又は複数の差分値の組み合わせを判定する値として用いても良い。
また、画像接合装置の各構成における処理については、ASIC(Application Specific Integrated Circuit)等のハードウェアまたはソフトウェアで実施できる。また、処理の一部をソフトウェアで実施し、それ以外をハードウェアで実施することをしても良い。ソフトウェアで実施する際には、マイクロプロセッサ等の1つあるいは複数のCPU(Central Processing Unit)を有するコンピュータシステムに機能ブロックの処理に関するプログラムを実行させればよい。これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Compact Disc Read Only Memory)、CD−R、CD−R/W、DVD−ROM(Digital Versatile Disc Read Only Memory)、DVD−R(DVD Recordable)、DVD−R DL(DVD-R Dual Layer)、DVD−RW(DVD ReWritable)、DVD−RAM、DVD+R、DVR+R DL、DVD+RW、BD−R(Blu-ray(登録商標) Disc Recordable)、BD−RE(Blu-ray Disc Rewritable)、BD−ROM、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
1 画像接合装置
7 撮像装置
11 ベクトル検出部
12 動き補償部
13 差分判定部
14 画像合成部
15、31 上書き部
16、32 混合部
33 二種画像合成部
41 ミストテーブル
42 乱数発生部
43 比較部
44 制御部
71 撮像部
72 記憶部
73 表示部

Claims (7)

  1. 複数の画像間の動きベクトルを検出する動きベクトル検出部と、
    前記動きベクトルを用いて、前記複数の画像間の位置の差を補償する補正を画像に行い、動き補償画像を生成する動き補償部と、
    前記複数の画像のいずれかを選択し、選択画像において隣接する画素間の差分値が所定の値以上であるか否か判定する差分判定部と、
    前記選択画像において、隣接する画素間の差分値が所定の値以上である領域において、前記選択画像を他の画像に対して上書きする上書き部と、
    前記選択画像において、隣接する画素間の差分値が所定の値未満である領域において、前記選択画像と他の画像とを局所的に混合する混合部と、
    を備えることを特徴とする画像接合装置。
  2. 前記差分値は輝度差又は色差であることを特徴とする請求項1に記載の画像接合装置。
  3. 前記上書き部において上書きされた画像と、前記混合部において、局所的に混合された画像を、上書き及び局所的に混合した領域で合成する二種画像合成手段を備え、
    前記上書き部及び前記混合部は、画像を個々に処理を行うことを特徴とする請求項1または2に記載の画像接合装置。
  4. 前記混合部は、局所的に混合する領域に対して、上書きする画素が粗密に分布する上書きを行うことを特徴とする請求項1から3のいずれかに記載の画像接合装置。
  5. 複数の画像間の動きベクトルを検出する動きベクトル検出部と、
    前記動きベクトルを用いて、前記複数の画像間の位置の差を補償する補正を画像に行い、動き補償画像を生成する動き補償部と、
    前記複数の画像のいずれかを選択し、選択画像において隣接する画素間の差分値が所定の値以上であるか否か判定する差分判定部と、
    前記選択画像において、隣接する画素間の差分値が所定の値以上である領域において、前記選択画像を他の画像に対して上書きする上書き部と、
    前記選択画像において、隣接する画素間の差分値が所定の値未満である領域において、前記選択画像と他の画像とを局所的に混合する混合部と、
    を備えることを特徴とする画像接合部と、
    画像を連続して撮像する動画撮像部と、
    画像を記憶する記憶部と、
    画像を表示する表示部と、を備え、
    前記画像接合部は、前記動画撮像部が撮像した複数の画像を接合し、
    前記記憶部は、前記画像接合部が接合した画像を記憶し、
    前記表示部は、前記画像接合部が接合した画像を表示することを特徴とする撮像装置。
  6. 複数の画像間の位置の差を補償する補正を画像に行う動き補正工程と、
    画像において隣接する画素間の差分値が所定の値以上であるか否か判定する差分判定工程と、
    隣接する画素間の差分値が所定の値以上である領域において、前記画像を他の画像に対して上書きする上書き工程と、
    隣接する画素間の差分値が所定の値未満である領域において、前記画像と他の画像とを局所的に混合する局所的混合工程と、
    を備えることを特徴とする画像接合方法。
  7. 画像入力装置から画像を入力するステップと、
    複数の画像間の位置の差を補償する補正を画像に行う動き補正ステップと、
    画像において隣接する画素間の差分値が所定の値以上であるか否か判定する差分判定ステップと、
    隣接する画素間の差分値が所定の値以上である領域において、前記画像を他の画像に対して上書きする上書きステップと、
    隣接する画素間の差分値が所定の値未満である領域において、前記画像と他の画像とを局所的に混合する局所的混合ステップと、
    上書き及び局所的に混合した画像を画像出力装置に出力する出力ステップと、
    コンピュータに実行させる画像接合プログラム。
JP2014195118A 2014-09-25 2014-09-25 画像接合装置、撮像装置、画像接合方法、及び画像接合プログラム Active JP6197771B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014195118A JP6197771B2 (ja) 2014-09-25 2014-09-25 画像接合装置、撮像装置、画像接合方法、及び画像接合プログラム
PCT/JP2015/004608 WO2016047073A1 (ja) 2014-09-25 2015-09-10 画像接合装置、撮像装置、画像接合方法、及び画像接合プログラム
US15/454,999 US10154195B2 (en) 2014-09-25 2017-03-09 Image joining apparatus, image pickup apparatus, image joining method, and image joining program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014195118A JP6197771B2 (ja) 2014-09-25 2014-09-25 画像接合装置、撮像装置、画像接合方法、及び画像接合プログラム

Publications (2)

Publication Number Publication Date
JP2016066927A JP2016066927A (ja) 2016-04-28
JP6197771B2 true JP6197771B2 (ja) 2017-09-20

Family

ID=55580624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014195118A Active JP6197771B2 (ja) 2014-09-25 2014-09-25 画像接合装置、撮像装置、画像接合方法、及び画像接合プログラム

Country Status (3)

Country Link
US (1) US10154195B2 (ja)
JP (1) JP6197771B2 (ja)
WO (1) WO2016047073A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016147366A1 (ja) * 2015-03-19 2016-09-22 オリンパス株式会社 内視鏡装置
WO2018100732A1 (ja) 2016-12-02 2018-06-07 オリンパス株式会社 内視鏡用画像処理装置
JP6869841B2 (ja) * 2017-07-20 2021-05-12 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
WO2019026392A1 (ja) * 2017-07-31 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6545229B2 (ja) * 2017-08-23 2019-07-17 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
RU2667800C1 (ru) * 2017-12-26 2018-09-24 Акционерное общество "Научно-технический центр ЭЛИНС" Способ комплексирования двух цифровых полутоновых изображений

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06284321A (ja) 1992-10-09 1994-10-07 Sony Corp パノラマ画像作成方法及び装置
JP3158735B2 (ja) 1992-10-09 2001-04-23 ソニー株式会社 画像信号記録装置
JP3421859B2 (ja) 1992-10-23 2003-06-30 ソニー株式会社 パノラマ画像作成装置の動きベクトル検出方法及び装置
JP2001169151A (ja) * 1999-12-09 2001-06-22 Ricoh Co Ltd 電子カメラ
JP4577765B2 (ja) 2004-11-02 2010-11-10 Kddi株式会社 動画像合成装置
JP2009147468A (ja) * 2007-12-11 2009-07-02 Olympus Corp カメラ
RU2541128C2 (ru) * 2009-07-10 2015-02-10 Панасоник Корпорэйшн Носитель записи, устройство воспроизведения и интегральная схема
JP4847631B2 (ja) * 2009-09-25 2011-12-28 パナソニック株式会社 記録媒体、再生装置、及び集積回路
US9194953B2 (en) * 2010-10-21 2015-11-24 Sony Corporation 3D time-of-light camera and method
JP2012231303A (ja) * 2011-04-26 2012-11-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP5965596B2 (ja) 2011-07-27 2016-08-10 オリンパス株式会社 画像処理システム、情報処理装置及びプログラム
JP5996169B2 (ja) 2011-07-27 2016-09-21 オリンパス株式会社 画像処理システム、情報処理装置及びプログラム
JP2013046270A (ja) * 2011-08-25 2013-03-04 Olympus Corp 画像貼り合せ装置、撮影装置、画像貼り合せ方法、および画像処理プログラム
US9392292B2 (en) * 2013-09-27 2016-07-12 Apple Inc. Parallel encoding of bypass binary symbols in CABAC encoder

Also Published As

Publication number Publication date
US20170180641A1 (en) 2017-06-22
JP2016066927A (ja) 2016-04-28
WO2016047073A1 (ja) 2016-03-31
US10154195B2 (en) 2018-12-11

Similar Documents

Publication Publication Date Title
JP6197771B2 (ja) 画像接合装置、撮像装置、画像接合方法、及び画像接合プログラム
KR101263888B1 (ko) 화상처리장치 및 화상처리방법과 컴퓨터·프로그램
US8547451B2 (en) Apparatus and method for obtaining high dynamic range image
WO2016043819A1 (en) Colour image enhancement guided by a greyscale image
US8970745B2 (en) Image processing device, image processing method and storage medium to suppress shading of images in which pixel addition processing is performed
JP2010166558A (ja) 撮像装置
WO2013032008A1 (ja) 画像処理装置、プログラム
JP5052189B2 (ja) 映像処理装置及び映像処理プログラム
WO2014073386A1 (ja) 信号処理装置、信号処理方法及び信号処理プログラム
US20210067689A1 (en) Image processing apparatus, image processing method, and program
US20160255320A1 (en) Image processing apparatus, imaging apparatus, image processing method, and computer-readable recording medium
TWI397023B (zh) 影像生成方法、裝置,及其程式與記錄有程式的記錄媒體
KR20090097796A (ko) 색수차 정정 방법
KR101692748B1 (ko) 채널간 상관관계 기반 컬러 필터 어레이 보간 방법
WO2019146419A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP4441809B2 (ja) カラー固体撮像装置
JP6143575B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP4539299B2 (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2020005084A (ja) 画像処理装置、画像処理方法、及びプログラム
JPH06153087A (ja) 画素欠陥補正方法
JP5330291B2 (ja) 信号処理装置及び撮像装置
JP6450107B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP5493839B2 (ja) 撮像装置、画像合成方法及びプログラム
JP5139350B2 (ja) 画像処理装置、画像処理方法、撮像装置
WO2022118434A1 (ja) 処理装置、処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170807

R150 Certificate of patent or registration of utility model

Ref document number: 6197771

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150