ドローン空撮で100メートル先の数ミリメートルの変形を計測

被災地の状況を確認したり、人が入っていくのには危険な場所を空から撮影して、状況を把握するために、非常に役に立っているようですね。

こちらで紹介するのは、それらとは違って、建造物の変形などを検知するための方法として使われるドローンのお話です。

産総研が開発した、マーカーを設置してその位置情報を得ることから、100m先で数ミリ単位の変化を計測できるそうですよ。

すごいですね。

ドローン空撮で100メートル先の数ミリメートルの変形を計測
老朽化したインフラ構造物の効率的な維持管理に貢献
産総研

・ ドローン空撮で橋梁のミリメートルオーダーのたわみを高精度で計測する技術を開発
・ ドローン空撮画像の位相解析により従来法の10倍以上の精度で画像ぶれ補正を実現
・ 画像変位計測によるインフラ構造物の効率的な健全性評価に貢献

ドローン空撮で100メートル先の数ミリメートルの変形を計測

概 要
国立研究開発法人 産業技術総合研究所（以下「産総研」という）分析計測標準研究部門 非破壊計測研究グループ 李 志遠 上級主任研究員、叶 嘉星 主任研究員、同研究部門 遠山 暢之 副研究部門長は、株式会社 CORE技術研究所（以下「CORE技研」という）小椋 紀彦 研究員（（兼）京都大学 インフラ先端技術産学共同講座 特定助教）と共同で、ドローン空撮による橋梁インフラのたわみ計測法を開発しました。

老朽化した橋梁の健全性を評価する一手法としてたわみ計測が実施されています。ここで、設置に手間がかかる従来の変位センサーの代わりにドローンカメラでたわみ計測ができれば、山間部や海峡、河川に架かるアクセスの困難な橋梁などにおいても、効率的な点検が可能になります。しかし、ドローンなどの空撮では画像ぶれの発生により、ミリメートルオーダーのたわみ計測が困難でした。そこで、規則性模様を有する基準マーカーを導入して、そのマーカー模様の位相情報を活用した人間のバランス感覚に近い高精度な画像ぶれ補正技術を開発することで、従来の変位センサーと同様に、ドローン空撮でも橋梁の健全性評価に必要とされるミリメートルオーダーの微小変位を計測することに成功しました。本技術は、老朽化したインフラ構造物の効率的な維持管理に貢献し、将来的にはインフラ構造物の長期モニタリングの実現にもつながる技術として期待されます。

なお、この技術の詳細は、2024年1月9日に「Nature Communications」に掲載されました。

下線部は【用語解説】参照

開発の社会的背景
社会インフラの老朽化は、現代社会が直面する大きな課題です。特に主要な道路インフラである橋梁においてはその老朽化対策が急務となっています。建設後50年以上が経過した橋梁の割合は、日本および米国において40％以上にも達しています。今後、橋梁を含めた社会インフラの維持・更新に膨大なコストがかかることは避けられないものの、従来の不具合が生じてから対策を行う事後保全から、不具合が生じる前に定期点検などの対策を行う予防保全への転換によって、コストを大幅に縮減できることが見込まれます。

橋梁などのインフラ構造物の健全性を効率的に評価するために、構造物の変位を簡便かつ低コストで計測する方法が不可欠です。しかし、従来の変位センサーやカメラによる計測法ではこれらのセンサーやカメラを構造物あるいは地面に固定する必要があるため、特にアクセスの困難な構造物の点検には手間とコストがかかっていました。

研究の経緯
産総研では、社会インフラの効率的な維持管理に資する技術として、デジタルカメラで撮影するだけで橋梁のたわみを計測する技術を開発してきました（2016年8月31日 産総研プレス発表）[1]。この技術によって、たわみ計測にかかる時間とコストの大幅な削減が可能になりましたが、カメラを三脚などに固定する必要があるため、山間部や海峡、河川などに架かる橋梁では、三脚などを設置する適切な場所の確保が難しいといった問題点がありました。そこで、この技術をさらに発展させ、ドローン空撮でも従来法と同等の精度でたわみ計測ができる技術の開発に着手しました。

[1]https://www.aist.go.jp/aist_j/press_release/pr2016/pr20160831/pr20160831.html

研究の内容
ドローン空撮では風などの影響によって機体が揺れ、画像ぶれが発生するため、撮影画像そのものを使用しても橋梁の微小なたわみを計測することはできません。そこで、画像ぶれを高精度で補正するために、概要図に示す通り、橋梁の中央側面に設置した測定マーカー（Mk-C）に加えて、新たに二つの基準マーカー（Mk-AとMk-B）を導入しました。橋脚上の不動点となる橋梁側面にこれらの基準マーカーを設置し、二つのマーカーを結ぶ1本の基準線が橋梁の変形前後で一致するように100分の1画素（従来法の10倍以上）の精度で画像ぶれ補正を行います。橋梁の変形前後の測定マーカーの規則模様画像にぶれ補正を行った後に、サンプリングモアレ法を用いて画像から生成されるモアレ縞の位相変化から微小変位を算出します。その結果、世界で初めてドローン空撮でミリメートルオーダーの橋梁の微小なたわみ計測に成功しました。

それを可能にしたのは、人間の耳のバランス感覚をヒントにシンプルかつ高精度な画像ぶれ補正技術を新たに開発したことです。図1に示すように人間の耳は蝸牛（聴覚）以外に、前庭系システムとして、前庭と三半規管（平衡覚）を内耳に備えています。このシステムは3次元空間における平行移動や傾きの回転を感知するセンサーの役割を果たしています。そのおかげで人間は走りながら遠くにある看板の文字を読むことができます。すなわち、人間は耳で感知した平衡覚の情報に基づいて、無意識に素早く目の視点と向きを常に調整しています。そこで、人間の優れたこのバランス感覚を今回のドローン空撮に応用しました。橋梁の両端の桁に固定された二つの基準マーカー（2次元規則模様）はまさに人間の耳の役割を果たしています。この二つの基準マーカーを結ぶ基準線はバランス感覚に相当し、ドローン空撮で得られた撮影画像に対して、常にぶれないように補正することで、安定したたわみ計測ができるようになりました。

ドローン空撮で100メートル先の数ミリメートルの変形を計測

産総研は、CORE技研との共同研究および京都大学インフラ先端技術コンソーシアムの活動の一環として、全長110 mのドゥルックバンド橋のたわみ計測の検証実験を実施しました。橋梁から約100 m離れた空中でドローン空撮を行い、得られた画像から橋梁のミリメートルオーダーの微小たわみが計測できました（図2）。この実証実験では、規則模様のピッチが0.2 mで大きさが1メートル四方のマーカーを使用して、時速20 km/hで8トンの試験車両が対象橋を通過した際に発生したたわみを計測しました。また福島ロボットテストフィールドでの模擬橋梁を利用した精度検証実験では、1 mmから5 mmまでの既知の変位量に対して、計6回の計測結果の平均誤差はわずか0.2 mmでした。今回開発したドローン空撮によるたわみ計測技術によって、カメラを固定する必要がなくなることから、従来法では困難であった場所での計測も可能になり、より多くの橋梁の健全性を効率的に評価することが可能になります。

ドローン空撮で100メートル先の数ミリメートルの変形を計測

今後の予定
民間企業によって本技術を活用した橋梁点検サービスが既に事業化されており、今後全国各地の橋梁に適用されることが期待されます。同技術をさらに発展させ、社会インフラの長期モニタリング技術の開発やクラウドシステムによる自動解析の研究開発を実施していく予定です。将来的にはドローンの自律飛行による計測サービスの実現を目指します。

論文情報
掲載誌：Nature Communications

論文タイトル：Drone-based displacement measurement of infrastructures utilizing phase information

著者：Shien Ri, Jiaxing Ye, Nobuyuki Toyama, Norihiko Ogura

DOI：https://doi.org/10.1038/s41467-023-44649-2

用語解説
ドローン空撮（Aerial drone photography）

ドローン（無人航空機）で空中から写真やビデオを撮影する技術で、高所やアクセスが困難な場所から撮影が可能です。最近ではビジュアルコンテンツ制作、建設業の地図作製と測量、災害調査や農業など幅広い分野で利用されています。

位相情報（Phase information）

規則的な模様を波とみなすと、波の高さは振幅、波の位置ずれは位相です。その位相の変化（格子模様のわずかなずれ）の情報を利用することで、微小変形をカメラで測定することができます。

画像ぶれ補正（Image blurring compensation）

ドローン空撮時に風などの影響により、撮影した動画データでは画像ぶれが発生します。その画像ぶれを画像処理によって補正します。通常の画像処理方法では10分の1画素の精度しかありませんが、規則性模様の位相情報を活用することで、100分の1画素の精度で画像ぶれを補正することができます。

サンプリングモアレ法（Sampling moiré method）

カメラで撮影された規則模様の画像に対して、間引きと輝度補間の画像処理を行うことで同時に位相がシフトされた複数枚のモアレ縞画像を得ることができます。これらのモアレ画像からモアレ縞の位相分布を算出する方法です。格子間隔（ピッチ）の1000分の1の精度で位相情報を解析できます。

モアレ縞（Moiré fringe）

モアレ縞は、二つの格子状のパターンが干渉することによって生じる空間周波数が低い（ピッチ間隔が大きい）規則的な縞模様です。モアレ縞を利用することは物体の微小変化を検出するのに有効です。

ドゥルックバンド橋（Druk-Bund bridge）

中央部がヒンジの「ドゥルックバンド」と呼ばれる構造形式を採用したドゥルックバンド橋は、2本の橋脚を中心にそれぞれシーソーのようになっていて、橋台上の桁端部には常に上向きの力がかかる仕組みになっています。

以上

昔、高層ビルの高層階に通勤していたときに、たまたま台風だったと思うのだが、強風が吹いたのね。

そのビル、左右に揺れるんですねぇ。

しかもかなりの振幅で。

あまり良い気分ではなかったけれど、このように、物によってはたわむ事が前提に作られているのもの多いと思う。

この技術のように数mmの変化を検知できるのはすごいと思うのだけれど、現実的にはそれらのたわみも考慮して色々なことを考えないといけないことになるはずですよね。

橋だって渋滞で止まっていると、地震のように揺れるもんねぇ。

minorus

電子機器が大好きです。
プログラムを書くのをお仕事としていたこともあるので、両方できる PIC や Arduino を使って、いろいろな（役にあんまり立たない）ものを作っています。
実は UNIX 関連のお仕事も長かったので、Raspberry Pi もお手の物なのですけれど、これから触る機会が多くなるのかなぁ。
ボチボチ行きますが、お付き合いください。
若いころの写真なので、現時点では、まだ髪の毛は黒くてありますが、お髭は真っ白になりました。
愛車の国鉄特急カラーのカスタムしたリトルカブで、時々、秋月電子通商の八潮店に出没します。