Current Release
Supported Benchmarks, Strategies & Metrics
Avalanche is a framework in constant development. Thanks to the support of the ContinualAI community and its active members we plan to extend its features and improve its usability based on the demands of our research community! A the moment, Avalanche is in Alpha (v0.0.1), but we already support a number of Benchmarks, Strategies and Metrics, that makes it, we believe, the best tool out there for your continual learning research! ๐Ÿ’ช
Check out below what we support in details, and please let us know if you think we are missing out something important! We deeply value your feedback!

๐Ÿ–ผ๏ธ Supported Datasets

In the Table below, we list all the Pytorch datasets used in Continual Learning (along with some references) and indicating if we support them in Avalanche or not. Some of them were already available in Torchvision, while other have been integrated by us.
Name
Dataset Support
From Torch Vision
Automatic Download
References
CORe50
โœ”๏ธ
โœ”๏ธ
โœ”๏ธ
โ€‹[1]โ€‹
MNIST
โœ”๏ธ
โœ”๏ธ
โœ”๏ธ
n.a.
CIFAR-10
โœ”๏ธ
โœ”๏ธ
โœ”๏ธ
n.a.
CIFAR-100
โœ”๏ธ
โœ”๏ธ
โœ”๏ธ
n.a.
FashionMNIST
โœ”๏ธ
โœ”๏ธ
โœ”๏ธ
n.a.
TinyImagenet
โœ”๏ธ
โœ”๏ธ
โœ”๏ธ
n.a.
MiniImagenet
โœ”๏ธ
โŒ
โŒ
n.a.
Imagenet
โœ”๏ธ
โœ”๏ธ
โŒ
n.a.
CUB200
โœ”๏ธ
โŒ
โœ”๏ธ
n.a.
CRIB
โŒ
โŒ
โŒ
n.a.
OpenLORIS
โœ”๏ธ
โŒ
โœ”๏ธ
n.a.
Stream-51
โœ”๏ธ
โŒ
โœ”๏ธ
n.a.
KMNIST
โœ”๏ธ
โœ”๏ธ
โœ”๏ธ
n.a.
EMNIST
โœ”๏ธ
โœ”๏ธ
โœ”๏ธ
n.a.
QMNIST
โœ”๏ธ
โœ”๏ธ
โœ”๏ธ
n.a.
FakeData
โœ”๏ธ
โœ”๏ธ
โœ”๏ธ
n.a.
CocoCaption
โœ”๏ธ
โœ”๏ธ
โŒ
n.a.
CocoDetection
โœ”๏ธ
โŒ
โŒ
n.a.
LSUN
โœ”๏ธ
โŒ
โŒ
n.a.
STL10
โœ”๏ธ
โŒ
โœ”๏ธ
n.a.
SVHN
โœ”๏ธ
โŒ
โœ”๏ธ
n.a.
PhotoTour
โœ”๏ธ
โŒ
โœ”๏ธ
n.a.
SBU
โœ”๏ธ
โœ”๏ธ
โœ”๏ธ
n.a.
Flickr8k
โœ”๏ธ
โœ”๏ธ
โŒ
n.a.
Flickr30k
โœ”๏ธ
โœ”๏ธ
โŒ
n.a.
VOCDetection
โœ”๏ธ
โœ”๏ธ
โœ”๏ธ
n.a.
VOCSegmentation
โœ”๏ธ
โœ”๏ธ
โœ”๏ธ
n.a.
Cityscapes
โœ”๏ธ
โœ”๏ธ
โŒ
n.a.
SBDataset
โœ”๏ธ
โœ”๏ธ
โœ”๏ธ
n.a.
USPS
โœ”๏ธ
โœ”๏ธ
โœ”๏ธ
n.a.
Kinetics400
โœ”๏ธ
โœ”๏ธ
โŒ
n.a.
HMDB51
โœ”๏ธ
โœ”๏ธ
โŒ
n.a.
UCF101
โœ”๏ธ
โœ”๏ธ
โŒ
n.a.
CelebA
โœ”๏ธ
โœ”๏ธ
โœ”๏ธ
n.a.
Caltech101
โŒ
โŒ
โŒ
n.a.
Caltech256
โŒ
โŒ
โŒ
n.a.

๐Ÿ“š Supported Benchmarks

In the Table below, we list all the major benchmarks used in Continual Learning (along with some references) and indicating if we support them in Avalanche or not.
""Benchmark Support" is checked if the actual continual learning benchmark (with the actual stream of data) is also provided.
Name
Benchmark Support
References
CORe50
โœ”๏ธ
โ€‹[1]โ€‹
RotatedMNIST
โœ”๏ธ
n.a.
PermutedMNIST
โœ”๏ธ
n.a.
SplitMNIST
โœ”๏ธ
n.a.
FashionMNIST
โœ”๏ธ
n.a.
CIFAR-10
โœ”๏ธ
n.a.
CIFAR-100
โœ”๏ธ
n.a.
CIFAR-110
โœ”๏ธ
n.a.
TinyImagenet
โœ”๏ธ
n.a.
CUB200
โœ”๏ธ
n.a.
SplitImagenet
โœ”๏ธ
n.a.
CRIB
โŒ
n.a.
OpenLORIS
โœ”๏ธ
n.a.
MiniImagenet
โŒ
n.a.
Stream-51
โœ”๏ธ
n.a.

๐Ÿ“ˆ Supported Strategies

In the Table below, we list all the Continual Learning algorithms (also known as strategies) we currently support in Avalanche.
"Strategy Support" is checked if the algorithm is already available in Avalanche, whereas "Plugin Support" is checked if the corresponding plugin of the strategy (that can be used in conjunction with other strategies) is is also provided.
Name
Strategy Support
Plugin Support
References
Naive (a.k.a. "Finetuning")
โœ”๏ธ
โŒ
n.a.
Naive Multi-Head
โœ”๏ธ
โœ”๏ธ
n.a.
Joint Training (a.k.a. "Multi-Task")
โœ”๏ธ
โŒ
n.a.
Cumulative
โœ”๏ธ
โŒ
n.a.
GDumb
โœ”๏ธ
โœ”๏ธ
n.a.
Experience Replay (a.k.a. "Rehearsal")
โœ”๏ธ
โœ”๏ธ
n.a.
EWC
โœ”๏ธ
โœ”๏ธ
n.a.
LWF
โœ”๏ธ
โœ”๏ธ
n.a.
GEM
โœ”๏ธ
โœ”๏ธ
n.a.
AGEM
โœ”๏ธ
โœ”๏ธ
n.a.
CWR
โœ”๏ธ
โœ”๏ธ
n.a.
SI
โœ”๏ธ
โœ”๏ธ
n.a.
iCaRL
โŒ
โŒ
n.a.
AR1
โœ”๏ธ
โŒ
n.a.

๐Ÿ“Š Supported Metrics

In the Table below, we list all the Continual Learning Metrics we currently support in Avalanche. All the metrics by default can be collected during runtime, logged on stdout or on log file.
With "Tensorboard" is checked if the metrics can be also visualized in Tensorboard is already available in Avalanche, whereas "Wandb" is checked if the metrics can be visualized in Wandb.
Name
Support
Tensorboard
Wandb
References
Accuracy
โœ”๏ธ
โœ”๏ธ
โŒ
n.a.
Loss
โœ”๏ธ
โœ”๏ธ
โŒ
n.a.
ACC
โŒ
โŒ
โŒ
โ€‹(Lopez-Paz, 2017)โ€‹
BWT
โŒ
โŒ
โŒ
โ€‹(Lopez-Paz, 2017)โ€‹
FWT
โŒ
โŒ
โŒ
โ€‹(Lopez-Paz, 2017)โ€‹
Catastrophic Forgetting
โœ”๏ธ
โœ”๏ธ
โŒ
n.a.
Remembering
โŒ
โŒ
โŒ
n.a.
A
โŒ
โŒ
โŒ
MS
โŒ
โŒ
โŒ
SSS
โŒ
โŒ
โŒ
CE
โŒ
โŒ
โŒ
Confusion Matrix
โœ”๏ธ
โœ”๏ธ
โŒ
n.a.
MAC
โœ”๏ธ
โœ”๏ธ
โŒ
n.a.
CPU Usage
โœ”๏ธ
โœ”๏ธ
โŒ
n.a.
Disk Usage
โœ”๏ธ
โœ”๏ธ
โŒ
n.a.
GPU Usage
โœ”๏ธ
โœ”๏ธ
โŒ
n.a.
RAM Usage
โœ”๏ธ
โœ”๏ธ
โŒ
n.a.
Running Time
โœ”๏ธ
โœ”๏ธ
โŒ
n.a.
CLScore
โŒ
โŒ
โŒ
CLStability
โŒ
โŒ
โŒ
Last modified 6mo ago