記事の目的
LiDARとはLight Detection and Rangingの略で光を使った距離測定技術の総称です。 RADARが電磁波を使って距離を測るのに対して、光を使った距離センサを指していると考えて差し支えないです。
特に本記事ではdToFとiToF LiDARの基本や原理を理解することを目標としています。
込み入った理論ではなく、LiDARの大まかな種類や用途を理解するのが目標です。
興味が出たら詳しい論文などを読んでみてください。またコメントしてもらえれば補足説明などできるかと思います。
特に記事の目的としては最近のiPad Proで採用されたiToF型LiDARについて理解してもらうことです。iToF型の説明している文献はネット上に少なく、わかりやすい原理説明があったほうが良いと思ったのがきっかけです。
こちらは距離センサ全般の記事です。合わせてどうぞ。 aru47.hatenablog.com
iPadはdToF LiDARでした
(2020/6/18追記）
iPadはソニー製の新センサを使ったdToF LiDARという分解記事が出ました。。iPad LiDARはiToFというのは誤りでしたm( )m
チップ写真を見る感じ、SPADアレーであるチップと読み出し回路をCu-Cuで接続している3Dチップです。読み出し、ToF計算回路はいつものCISで使用している10メタルプロセスの65nmのCMOSロジックチップでしょうか。
SPADはマイクロレンズ付きの10umピッチで裏面照射型となっています。アレーサイズは320x240?のFlash型LiDARを形成しています。Flash LiDARはレーザを一面に照射し、イメージセンサのように一度に絵として反射レーザを受光しToFを得る機構です。Velodyneのようなスキャン型に対しレーザ光が分散してしまうので距離は取れないですが、室内であれば十分実用的な結果が得られます。
当たり前のようにCIS的にSPADアレーを製造していますがSonyもの凄い技術力ですね。SPADの性能も良さそうです。
LiDARには大きく２種類ある
LiDARには大きく２つ種類があります。
一つはdirect Time of Flight型(dToF) LiDARでもう一つがindirect Time of Flight(iToF)型LiDARです。iToFは間接ToF型とも呼びます。
dToF LiDAR
原理
距離センサ入門からの引用です。
dToF LiDARはレーザパルスを出射し、筐体に帰還するまでの時間から対象物までの距離を求めます。
dToFの原理を考えてみましょう。 LiDARはTime of Flight(光の飛行時間)をベースにして距離を測ります。
原理としては単純で、下記の図のようにパルスレーザを筐体から放ち、そのレーザパルスが物体に反射して返ってくるまでの時間を計測します。
もしレーザ光が10秒後に返ってきて光速を単純のため1m/sとすると、物体までの距離は
(10秒 * 1m/秒)/2 = 5m
と5m先に物体があることがわかります。
このように直接飛行時間をベースにして距離を導出するのでdirect Time of Flightと呼びます。
実際の光速は108m/sと非常に早いため、光が返ってくるまでの時間は数ピコ秒、ナノ秒のオーダーなので時間を計測する回路には高い精度が求められます。
dToF LiDARの製品
- Velodyne LiDAR
- Livox LiDAR
ｎ
ちなみに、Livox Horizonは10万円で入手可能です。
dToF LiDARの特徴は以下です：
- 遠距離
- 外乱に強い
- 価格は高い
いずれのLiDARも距離は50-200m、角度解像度は0.1度～1度程度です。 そのため自動運転など野外の距離測定用に注目されています。
例えばWaymo社の車の上などにdToF LiDARが載っていますね。ちなみにwaymoのlidarは自社製(!)です。
よく見るクルクル回転する機構を備えており、それによって360度の全周囲のデータを獲得しております。
またLivox LiDARは安く、ドローンなどのアプリケーションへの適応も期待されています。
弱点としてレーザのスキャン機構が必要のため、価格は高いです（数十万円）。 そのためiPadなどのコンシューマーデバイスへの実装は難しいです。
indirect Time of Flight
原理
ようやく本題のiToFについての説明です。ただその理解のためにはdToFの原理を理解している必要があったため、説明に時間を割きました。
iToF LiDARは原理としては光の飛行時間を用いていますが、パルスのズレではなく間接的に飛行時間を測定します。
じゃあその間接的ってなによ？というのがキモとなります。
https://www.terabee.com/a-brief-introduction-to-time-of-flight-sensing-part-2-indirect-tof-sensors/
図にiToFの原理を示します。
dToFではレーザパルスを送信していたのに対し、iToFでは周期的なレーザ光を放出します。（sin波など）
そして対象物までの距離に応じて位相がずれた波形が返ってきます。
LiDARは受信した波形の位相を判断し、対象物までの距離を計算できます。
LiDARの周期をt、光速をc、検知した位相遅れをθとすると、
distance = c/2 * t * θ/2π
となります。ちゃんと光速をベースとしたTIme of Flightの式になっているところに注目していただけたらと思います。
iToF LiDARの製品
- Kinect v2, Azure Kinect
* iPad Pro
https://annex.jsap.or.jp/photonics/kogaku/public/41-05-kaisetsu1.pdf 画素内積分回路の実装
回路の話となりますが、dToFのようなパルスレーザを高精度に受光する回路は複雑になってしまう反面、iToFのように周期的なレーザ光の位相を計算する回路は非常に小さく設計することができます。 具体的には位相の計算処理はアナログ回路が得意な積分回路で実装することができ、実際にソニー、マイクロソフトの製品では同処理を特別な画素を設計し、ピクセルレベルで行っております。
追加回路は多く必要がないため、そのためイメージセンサと同様な回路を設計することができ、非常に大きい解像度を持ちながら（0.1-1メガピクセル）コンシューマデバイスなどに載る低価格なLiDARを作ることができるのがiToF LiDARの特徴です。 iPadProに使われているチップはSony IMX556のカスタム、廉価バージョンなのではないかと予想しています。多分原価はX000円程度に押さえているのではないでしょうか？受光素子自体はイメージセンサと同様に大量生産でき、機械部が存在しないため価格を抑えられ手軽な値段に抑えられるんですね。
iToFの良いところを述べましたが、もちろんdToFに対してデメリットもあります。大きな原理上のデメリットとしてiToFではレーザ光の変調周期は最大距離と距離精度のトレードオフとなるため、長距離のデータを高精度で取るのを苦手としています。例えば100MHzで変調させると最大距離は約15mと限定的です。 また1ピクセル辺りの出射レーザ光パワーが低いため、十分な精度が得られるのは10m以下と野外での使用は厳しいです。
また最後に半導体には馴染みない方にはマニアックに感じるかもしれませんが重要なのがセンサ（フォトダイオード）の要件です。このように積分結果から距離を導出するため、フォトダイオードの特性は線形でないといけません。 しかしながらフォトダイオードを線形の領域で使うと受光効率は悪く、弱いレーザ光を検出することはできません。反面にdToFでは光を検出さえできればよく受光特性は非線形でも精度に寄与しません。そのためフォトダイオードの受光効率が高いアバランシェ領域やガイガー領域で動作することができます。この領域における受光効率はiToFに使用する領域の数100~1000倍ほど高いです。だからdToF LiDARは数百メートル先の物体を検出できるんですね。
参考文献
- パルス変調型iToF(ソニー）
- ミキシング型iToF(Microsoft Kinectv2, v3)
- 解説記事
この分野の権威である静岡大川人先生の解説記事です。とてもわかり易く、オススメ。
自分の論文の日経エレの解説記事です。有料ですが。。
最後に
LiDARにはdToFとiToFと２つの原理があって使用されている製品が全然違うんだなあーというのが理解していただけると幸いです。
これからiPhoneなどにも載ってくると思うので距離センサはどんどん身近になっていきそうです、その時どういうアプリケーションが出てくるか楽しみですね。