kaggle的備忘録 Pytorchモデル学習では学習率スケジューラ（LR scheduler）が必須。 特に論文ではCosineLRスケジューラがよく使われる。 こんなん 事前学習モデルでは最初に低いLRでwarmupを数epochした後に最高LRに設定後cosine上にLRが低下していくスケジ…