【書類名】　特許願 【整理番号】　ＣＩＭＳ−００１ 【あて先】　特許庁長官殿 【国際特許分類】　Ｈ０４Ｎ　５／２３２　　 【発明者】 　【住所又は居所】　ＸＸＸ 　【氏名】　亀田　能成 【発明者】 　【住所又は居所】　ＸＸＸ 　【氏名】　美濃　導彦 【特許出願人】 　【識別番号】　ＸＸＸ 　【氏名又は名称】　亀田　能成 　【代表者】　亀田　能成 【手数料の表示】 　【予納台帳番号】　ＸＸＸ 　【納付金額】　ＸＸＸ 【提出物件の目録】 　【物件名】　明細書　１ 　【物件名】　図面　１ 　【物件名】　要約書　１ 【書類名】　明細書 【発明の名称】 単眼画像計測による移動対象自動撮影システム 【特許請求の範囲】 　【請求項１】　１つの観測カメラによって移動する撮影対象の観測画像内の画像座標を単眼画像計測によって求め、その画像座標を用いて複数のパン・チルト・ズーム可能な撮影カメラ（撮影用首振りカメラ）のパン・チルト・ズーム値を求め、その値に従って撮影カメラを制御することで移動している撮影対象を自動撮影することを特徴とする自動撮影システム。 　【請求項２】　請求項１記載の自動撮影システムにおいて、複数の撮影対象が前述の観測カメラによって観測される場合に、その中から１つの撮影対象を代表する画像座標を求めることを特徴とする画像処理部。 　【請求項３】　請求項１記載の自動撮影システムにおいて、撮影対象の三次元位置を求めることなく請求項２に述べた観測画像内の画像座標のみから表を参照することで各撮影用首振りカメラの制御に必要なパン・チルト・ズーム値を求めることを特徴とするパラメータマップ参照部。 　【請求項４】　請求項１記載の自動撮影システムにおいて、パン・チルト・ズーム値をパン・チルト・ズーム値伝達線を介して受信しその値通りにカメラ制御を実現する撮影用首振りカメラ装置。 【発明の詳細な説明】 【０００１】 【発明の属する技術分野】 本発明は、複数のパン・チルト・ズーム可能な撮影カメラ（首振りカメラ）を用いて、三次元位置が不明な撮影対象を、その三次元位置を求めることなく自動的に撮影するシステムに関する。 【０００２】 【従来の技術】 首振りカメラを用いた移動する対象の撮影を自動的に行う方法として、首振りカメラの画像上で撮影対象の画像座標を求め、その画像座標を元に、カメラの焦点位置・カメラ光軸・画角・焦点に対するパン軸の位置・焦点に対するチルト軸の位置等を考慮して、撮影対象が画像内に存在し続けるようにパン・チルト・ズーム値を計算しカメラを制御する方法が従来から用いられている。しかしながら、この方法では観測と撮影を同一の首振りカメラで行うため、撮影対象が何らかの原因によって画像から外れてしまった場合に追跡撮影を続行することが不可能となるという欠点がある。特に撮影対象を画像内で見かけ上大きく撮影しようとする場合、僅かな計算誤差が撮影対象を見失う結果となり、自動撮影システムとして問題がある。また、ズーム制御を行うと撮影対象の画像上での見かけの大きさが変化するため、制御が不安定になるなどの問題も挙げられる。 【０００３】 撮影対象を見失わない撮影システムとして、画像計測用に２台以上の固定観測カメラを用いて撮影対象の三次元位置と大きさを計測し、その計測結果である対象の三次元位置と、撮影用首振りカメラの設置位置とからその撮影カメラのパン・チルト・ズーム値を決定する手法が従来提案されている。例えば特開平８−１５３１３２号公報に開示された自動撮影システムがこれに該当する。しかしながら、このような画像計測技術を用いた場合、対象の三次元位置及び大きさを計測するには、画像が同期した２つ以上の観測カメラを用意することが必要であった。その理由は、従来の画像処理技術では、二つの観測カメラそれぞれの三次元位置と、それぞれの観測カメラの画像上での対象の画像座標とが対象の三次元位置の計測に必要であるためであり、その結果必然的にシステムが大規模になるという欠点がこのシステム形態にはある。 【０００４】 一方、撮影対象の三次元位置計測を行わない首振りカメラによる撮影システム形態として、特開平７−２４０８６８号公報などが提案されている。この形態のシステムでは、カメラマン（カメラ操作者）の操作ないし視線運動に基づいて首振りカメラのパン・チルト・ズーム値のうち一つ以上が求めることができる。しかし、この形態ではどの撮影対象を撮影するのかについてカメラマンが指示を与える必要があり、撮影カメラ制御自体は自動で行われるものの全体としてはカメラマンが必要である。 【０００５】 【発明が解決しようとする課題】 単眼画像計測すなわち１つの観測カメラだけで、移動物体に対してパン・チルト・ズーム可能な撮影用首振りカメラのパン・チルト・ズーム制御を行って自動撮影できるシステムを提供する。首振りカメラは同時複数制御可能である。 【０００６】 【課題を解決するための手段】 撮影対象が撮影中に移動しうる範囲全て（以後、移動範囲空間と呼ぶ）を撮影可能な位置・向きに、観測カメラを設置する。この条件を制約１と呼ぶ。 【０００７】 かつ、制約２として、観測カメラのその位置・向きからは、移動物体が移動範囲空間中のどの位置にあっても観測カメラの画像（観測カメラ画像と呼ぶ）上で同じ位置にならないようにする。すなわち、観測カメラ画像において画像座標(IX,IY)で撮影対象が観測された場合、その時の撮影対象の三次元位置(sx,sy,sz)が唯一である状態になるような位置・向きに観測カメラを設置する。 【０００８】 移動範囲空間中の三次元位置(sx,sy,sz)において、そこに撮影対象が来たときにその撮影対象が観測カメラ画像上で観測される画像座標(IX,IY)と、その三次元位置にある撮影対象を撮影するために必要な各撮影用首振りカメラiのパン・チルト・ズーム値(pi,ti,fi)を与える。 【０００９】 与えた(IX,IY)に対する各撮影カメラのパン・チルト・ズーム値を、(IX,IY)に対する表の形式で格納する。この表をパラメータマップと呼ぶ。 【００１０】 前々項及び前項の処理を移動範囲空間中の全ての三次元位置において行って、パラメータマップを完成させる。パラメータマップが準備できた後、自動撮影が可能になる。 【００１１】 以下、パラメータマップが用意された状況での自動撮影システムの処理過程について述べる。 【００１２】 画像処理部は観測カメラからの画像を継続して連続的に取り込み、背景差分法又は連続差分法、あるいはその両方を用いて、画像中で動きが観測された領域を抽出する。これを活動観測領域と呼ぶ。活動観測領域は１つ以上の撮影対象が画像上に現れたものである。 【００１３】 観測カメラ画像を小ブロックで分割し、各小ブロック毎に活動観測領域がその小領域の面積をどれだけ占めているかを求め、その占有比率が活動閾値を超えた小ブロックを活動観測ブロックとする。 【００１４】 占有比率が最も高い活動観測ブロック及びその近傍の小ブロックに含まれる活動観測領域から、撮影対象の画像座標 (IX,IY)を求める。求め方としては活動観測領域の重心が一つの方法として挙げられる。 【００１５】 パラメータマップ参照部は撮影対象の画像座標(IX,IY)をキーとしてパラメータマップを参照することで全ての撮影用首振りカメラのパン・チルト・ズーム値(p,t,f)を得る。 【００１６】 パラメータマップ参照部から各撮影カメラに対して得られたパン・チルト・ズーム値を伝達し、各撮影用首振りカメラ制御部はその値に従って撮影用首振りカメラの制御を行う。 【００１７】 【実施例】 図１は、本発明の一実施例による自動撮影システムの構成を示した説明図である。また、図２は本発明による自動撮影システムの実行概念を示した説明図である。 【００１８】 観測カメラは前述の制約１及び制約２を満たす位置・向きに設置されている。制約１及び制約２を満たす位置と撮影対象の移動範囲空間全体を観測できる位置・向きであれば、観測カメラはどこに設置されていてもよい。このことは、照明その他の環境変化要因が画像処理部における活動観測領域の抽出に影響を与えにくい位置・向きを選んでよいことを意味し、本発明の適用可能範囲が広いことを示す。 【００１９】 パラメータマップの準備は、移動範囲空間の全ての三次元位置について観測画像上の画像座標(IX,IY)と各撮影用首振りカメラのパン・チルト・ズーム値を人手で与えることで行われる。このとき、パラメータマップは移動範囲空間の全ての位置に対して行われるのであって、観測カメラの画像座標全てについて行う必要はない。異なる三次元位置に対して同一の(IX,IY)が対応する場合は観測カメラの設置または移動範囲空間の設定のどちらかに問題があるので、そのようなことがないよう注意する。 【００２０】 パラメータマップの別の準備方法としては、移動範囲空間が連続的でかつ撮影対象の三次元空間内での大きさが連続的に変化する場合、移動範囲空間の何ヶ所かについてのみ観測画像上の画像座標(IX,IY)と各撮影カメラのパン・チルト・ズーム値を与えて他の位置については補間によって各値を与える方法を用いてもよい。なお、ここでいう撮影対象の三次元空間内での大きさが連続的に変化する場合には、撮影対象の大きさが一定である場合も含まれる。例としては、人が平らな床や起伏のある地面の上を歩き回るような状況はここで述べた場合に含まれる。 【００２１】 前項に述べた、補間によるパラメータマップ準備方法の一例について、図３を用いながら説明する。図３中の長方形は観測カメラ上の画像を示した枠で、画像座標系は画像左上が原点で右向きがＸ方向、下向きがＹ方向である。この例では簡単のため観測カメラの視野に移動範囲空間がちょうど含まれているものとする。画像上に小丸で表した画像座標及びそれに対応する撮影対象の三次元位置に対しては、各撮影用首振りカメラのパン・チルト・ズーム値を人手で与える。それらの点を頂点として、画像平面を小領域に分割する。頂点をもとにした分割手法としてはドロネー網による分割などを用いることができる。分割した各小領域の内部及び周上については、各撮影用首振りカメラのパン値、チルト値、ズーム値ごとに線形補間を行って値を決定する。 【００２２】 自動撮影のために用意されるパラメータマップは撮影用首振りカメラ毎にパン値用、チルト値用、ズーム値用の３枚ある。これらをパラメータマップ参照部に表形式で格納し、画像座標のみで各パラメータが参照できるようにしておく。 【００２３】 パラメータマップを参照可能な状態で、本発明の自動撮影システムの一実施例を以下に述べる。 【００２４】 最初に、図１に示すように観測カメラ（１）から映像信号線（７）を介して、画像処理部（８）は画像を継続して連続的に受信する。 【００２５】 図１に示すように画像処理部（８）では受信した複数の入力画像を用いて活動観測領域を抽出する。活動観測領域の抽出方法について、背景が変動しない場合は背景差分法を用いる。背景差分法とは、撮影対象が存在しない状態の観測カメラの画像（これを背景画像と呼ぶ）を事前に取得しておき、そのあとで撮影対象が含まれている入力画像と背景画像の各画素の画素値を比較し、その値が一致しなければその画素を活動観測領域とする方法である。実際には画素値の測定には誤差が伴うので、画素値の差が一定以上のときにはじめて活動観測領域とみなす。 【００２６】 一方、背景が照明の変化などの環境要因で一定の画素値を有しない場合には、活動観測領域の抽出に連続差分法を用いてもよい。連続差分法とは、最後に受信した入力画像とその直前に受信した入力画像の画素値を比較し、画素値が一致しなければ活動観測領域と見なす手法である。連続差分法の場合、撮影対象が観測カメラに対して運動したときにだけ活動観測領域が抽出されるので、時々しか運動しない撮影対象を自動撮影する場合には不適である。そこで、背景画像が信頼できる状況下では背景差分法を用い、背景画像が信頼できないような環境要因が発生した場合は連続差分を用いるという複合画像処理を用いることもできる。 【００２７】 撮影対象が移動範囲空間内に１つしか存在しない場合、画像処理部では活動観測領域の重心を求めることで、撮影対象の画像座標(IX,IY)を得る。図４はその説明図である。活動観測領域（１８）の重心が(IX,IY)として求められている。しかしながら、撮影対象が移動範囲空間内に複数存在する場合、活動観測領域の重心や外接矩形の中心は撮影対象の画像座標を示さなくなる。そのため、観測カメラ画像を小ブロックで分割して画像処理を行うことで最も活動的な撮影対象に対応する画像座標を求める。図５はその説明図であり、ここでは観測カメラ画像はＸ方向に６分割、Ｙ方向に４分割されている。なお、小ブロックは観測カメラ画像上で均等に配置されている必要はないし、均等な大きさである必要もない。活動観測領域は小ブロック毎に分割されて評価されるので、各小ブロックの大きさを観測カメラ画像上での撮影対象の見かけの大きさに比例させておくと、小ブロック毎の活動観測領域の占有比率をそれぞれ別の撮影対象の活動の大きさとみなして比較することができる。占有比率が活動閾値より高い小ブロック全てを活動観測ブロックとする。 【００２８】 個々の活動観測ブロックはそれぞれ別の撮影対象が存在することを示しているので、その中で最も占有比率の高い活動観測ブロックを選択する。これによって最も活動的な撮影対象が選択されたことになる。図５の例では、３つの撮影対象に対して３つの活動観測ブロック（１９，２０）が抽出されているが、その中でも右下に位置する活動観測ブロック（２０）が選択される。 【００２９】 選択された活動観測ブロックを元に撮影対象の画像座標(IX,IY)を求める際、当該撮影対象に由来する活動観測領域が近傍小ブロックに含まれている可能性があるため、選択された活動観測ブロックのみならず近傍小ブロックに含まれる活動観測領域も合わせて計算を行う。その画像座標の計算結果としてここでは重心を用いる。外接矩形の中心など他の計算を用いてもよい。 【００３０】 前項までの画像処理部の処理によって求められた画像座標(IX,IY)は、図１の画像座標伝達線（９）を介してパラメータマップ参照部（１０）に送信される。 【００３１】 パラメータマップ参照部（９）はパラメータマップ参照信号線（１２）を介してパラメータマップ（１１）を参照し、画像座標(IX,IY)に相当する欄のパン・チルト・ズーム値を各撮影用首振りカメラについて得る。その様子を図６に示す。本例では撮影用首振りカメラａ、ｂが存在し、画像座標は(4,3)であったとしている。パラメータマップは撮影用首振りカメラａについてPAN-a, TILT-a, ZOOM-aの３つが存在し、撮影用首振りカメラｂについても同様である。特に撮影用首振りカメラａのパン値パラメータマップPAN-aについて図７に詳細を示す。撮影用首振りカメラａのパン値Paについては、図７のような(IX,IY)に関する二次元のパラメータマップを参照し、現在の(IX,IY)の値の欄に格納されているパン値PAN-a (IX,IY)を得る。今、計測された画像座標が(4,3)であったとしているので、図７のパラメータマップ中のPAN-a(4,3)に相当する欄に入っていた値が撮影用首振りカメラａのパン値Paとなる。 【００３２】 パラメータ参照部（９）で得られた各撮影用首振りカメラのパン・チルト・ズーム値はパン・チルト・ズーム値伝達線（１３ａ、１３ｂ）を経由して撮影用首振りカメラ制御部（２ａ、２ｂ）に送信される。パン・チルト・ズーム値伝達に高速伝達手段ないし並列伝達手段を用意することで、各撮影用首振りカメラを同時に制御することが可能になる。 【００３３】 それぞれの撮影用首振りカメラ制御部は、受信したパン・チルト・ズーム値に従って撮影カメラ（３ａ、３ｂ）の方向（４ａ、４ｂ）及び画角（５ａ、５ｂ）を調整する。 【００３４】 【発明の効果】 以上説明したように、本発明によれば、観測カメラ一台だけで撮影対象の三次元位置を求めることなく複数の撮影用首振りカメラで自動撮影が可能である。観測カメラは上述の制約１及び制約２さえ満たせばどこに設置しても構わないので、撮影対象の画像座標が安定して計測できるような位置や方向に観測カメラを設置しやすい。 また、本発明では撮影用首振りカメラを複数同時制御可能である。撮影対象の三次元位置を求める必要がないため、三次元計測を必要とする自動撮影システムに比べて本システムは実現が容易であり、首振りカメラ制御のための計測処理にかかる計算量が小さいという利点がある。 【図面の簡単な説明】 【図１】本発明の一実施例による自動撮影システムの構成を示した説明図である。 【図２】本発明による自動撮影システムの実行概念を示した説明図である。 　【図３】補間によるパラメータマップ準備方法を説明した図である。 【図４】観測カメラ画像上の活動観測領域と、撮影対象の画像座標を説明する図である。 【図５】活動観測ブロックとその選択を説明する図である。 【図６】２台の撮影用首振りカメラに対するパラメータマップを示した図である。 【図７】撮影用首振りカメラａのパン値Paに関するパラメータマップPAN-a (IX,IY)の一例を示した図である。 　【符号の説明】 １　観測カメラ ２ａ、２ｂ　撮影用首振りカメラ制御部 ３ａ、３ｂ　撮影用首振りカメラ ４ａ、４ｂ　パン・チルト制御機構 ５ａ、５ｂ　ズーム制御機構 ６ａ、６ｂ　パン・チルト・ズーム値伝達線 ７　映像信号線 ８　画像処理部 ９　画像座標伝達線 １０　パラメータマップ参照部 １１　パラメータマップ １２　パラメータマップ参照信号線 １３ａ、１３ｂ　パン・チルト・ズーム値伝達線 １４　移動範囲空間 １５　撮影対象 １６　観測カメラ画像 １７ａ、１７ｂ　撮影用首振りカメラによる撮影画像 １８　活動観測領域 １９　活動観測ブロック ２０　選択される活動観測ブロック 【書類名】　図面 【図１】 【図２】 【図３】 【図４】 【図５】 【図６】 【図７】 【書類名】　要約書 【要約】１つの観測カメラによって移動する撮影対象の観測画像内の画像座標を計測し、その結果を用いてパン・チルト・ズーム可能な撮影カメラにより対象の自動撮影を可能にするシステム。 【課題】単眼画像計測すなわち観測カメラを１つだけ用いて、移動物体に対してその三次元位置を計測することなくパン・チルト・ズーム可能な撮影カメラのパン・チルト・ズーム制御を行って自動撮影できるシステムを提供する。撮影カメラは複数制御可能である。 【解決手段】一つの観測カメラを、撮影対象が撮影中に移動しうる範囲全てを撮影可能で、かつ、撮影対象が移動しうる範囲中のどの位置にあっても観測カメラの画像上で同じ位置に来ないように設置する。観測カメラ画像において、ある画像座標で撮影対象が観測された場合、その画像位置をキーにして撮影カメラのパン・チルト・ズーム値を予め用意した表を参照することで求め、撮影カメラの方向・画角を制御する。 【選択図】　図１