arutema47's blog

書いたり書かなかったり。

2022-01-01から1年間の記事一覧

学習が何で律速してるか、把握してますか?

(最新SSD IOはPCIe x4でした。ご指摘ありがとうございます。) はじめに どの処理で律速しているか調べる 各処理の速度改善方法 データ読み込み速度の改善 データ前処理速度の改善 GPU処理速度の改善 コンピューティングについての他記事 はじめに Kaggle Ad…

Pytorch学習スケジューラはtimmのCosineLRSchedulerがいいぞ

kaggle的備忘録 Pytorchモデル学習では学習率スケジューラ(LR scheduler)が必須。 特に論文ではCosineLRスケジューラがよく使われる。 こんなん 事前学習モデルでは最初に低いLRでwarmupを数epochした後に最高LRに設定後cosine上にLRが低下していくスケジ…

研究室立ち上げ時に参考にしたこと【WIP】

研究室運営の初動は共同研究者にも恵まれたのもあり、安定しつつありますが企業→大学講師パスだったので着任時に科研費もさきがけの存在すらしらなかったので情報収集に苦労しました。 誰かの役に立てるよう、備忘録的に参考になったサイトや情報をまとめま…

OpenAIのWhisperを使って動画字幕を自動生成

目的 OpenAIが公開した文字起こしAIのWhisperを使って動画に字幕を自動生成します。 パーフェクトではないですが、十分実用的な日本語字幕が生成できます。 用意 github.com Python3.7+とpytorch1.0+環境が必要。ローカルがなくてもcolabで十分動くと思いま…

物体検出ライブラリの紹介と所感

記事について 画像はDetectron2より 物体検出をほとんど使っていない方を対象として、2021年末の物体検出ライブラリを俯瞰することが本記事の目的。 ある程度物体検出の経験ある方は学ぶことは少ないと思う。またあくまで書いてあるのは筆者の感想であるので…