Readme Update und Smaller GN Training

This commit is contained in:
Steffen Illium
2022-02-02 13:11:35 +01:00
parent eb3b9b8958
commit 3fe4f49bca
2 changed files with 56 additions and 39 deletions

View File

@@ -1,48 +1,51 @@
# Bureaucratic Cohort Swarms
### (The Meta-Task Experience) # Deadline: 28.02.22
## Experimente
Fixpoint Tests:
### Fixpoint Tests:
-> Dropout Test
(Macht das Partikel beim Goal mit oder ist es nur SRN)
Zero_ident diff = -00.04999637603759766 %
- [ ] Dropout Test
- (Macht das Partikel beim Goal mit oder ist es nur SRN)
- Zero_ident diff = -00.04999637603759766 %
-> gnf(1) -> Aprox. Weight
Übersetung in ein Gewichtsskalar
-> Einbettung in ein Reguläres Netz
- [ ] gnf(1) -> Aprox. Weight
- Übersetung in ein Gewichtsskalar
- Einbettung in ein Reguläres Netz
(-> Übersetung in ein Explainable AI Framework)
-> Rückschlüsse auf Mikro Netze
- [ ] Übersetung in ein Explainable AI Framework
- Rückschlüsse auf Mikro Netze
-> Visualiserung
-> Der Zugehörigkeit
-> Der Vernetzung
- [ ] Visualiserung
- Der Zugehörigkeit
- Der Vernetzung
-> PCA()
-> Dataframe Epoch, Weight, dim_1, ..., dim_n
-> Visualisierung als Trajectory Cube
- [ ] PCA()
- Dataframe Epoch, Weight, dim_1, ..., dim_n
- Visualisierung als Trajectory Cube
-> Recherche zu Makro Mikro Netze Strukturen
Gibts das schon?
Hypernetwork?
arxiv: 1905.02898
- [ ] Recherche zu Makro Mikro Netze Strukturen
- gits das schon?
- Hypernetwork?
- arxiv: 1905.02898
---
Tasks für Steffen:
- Training mit kleineren GNs
- Weiter Trainieren -> 500 Epochs?
- Loss Gewichtung anpassen
- Training ohne Residual Skip Connection
- Test mit Baseline Dense Network
-> mit vergleichbaren Neuron Count
-> mit gesamt Weight Count
- Task/Goal statt SRNN-Task
### Tasks für Steffen:
- [ ] Training mit kleineren GNs -| Running
- [ ] Weiter Trainieren -> 500 Epochs?
- [ ] Loss Gewichtung anpassen
- [ ] Training ohne Residual Skip Connection
- [ ] Test mit Baseline Dense Network
- [ ] mit vergleichbaren Neuron Count
- [ ] mit gesamt Weight Count
- [ ] Task/Goal statt SRNN-Task
---
Für Menschen mit zu viel Zeit:
-> Sparse Network Training der Self Replication
(Just for the lulz and speeeeeeed)
### Für Menschen mit zu viel Zeit:
- [ ] Sparse Network Training der Self Replication
- Just for the lulz and speeeeeeed)
- (Spaß bei Seite, wäre wichtig für schnellere Forschung)
<https://pytorch.org/docs/stable/sparse.html>
---