steffen/self-replicating-neural-networks
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

README.md Update

Browse Source
This commit is contained in:
Steffen Illium
2022-02-10 16:53:49 +01:00
parent 594bbaa3dd
commit 14768ffc0a
8 changed files with 134 additions and 18 deletions
Download Patch File Download Diff File Expand all files Collapse all files

36
README.md
View File

@@ -1,6 +1,9 @@
# Bureaucratic Cohort Swarms
### (The Meta-Task Experience) # Deadline: 28.02.22
## Experimente
Data Exchange: [Google Drive Folder](***REMOVED***)
### Fixpoint Tests:
- [ ] Dropout Test
@@ -30,19 +33,29 @@
---
### Tasks für Steffen:
- [x] Sanity Check:
- [x] Training mit kleineren GNs
- Accuracy leidet enorm (_0.56_)
![image info](./figures/lesser_neurons_training_lineplot.png)
- Es entstehen mehr SRNN
- Der Dropout Effekt wird stärker (diff_ohne_SRNN = _0.0_)
![image info](./figures/lesser_neurons_dropout_stacked_barplot.png)
- [X] Weiter Trainieren -> 500 Epochs?
- [ ] Loss Gewichtung anpassen
- [x] Neuronen können lernen einen Eingabewert mit x zu multiplizieren?
| SRNN x*n 3 Neurons Identity_Func | SRNN x*n 4 Neurons Identity_Func |
|---------------------------------------------------|----------------------------------------------------|
| ![](./figures/sanity/sanity_3hidden_xtimesn.png) | ![](./figures/sanity/sanity_4hidden_xtimesn.png) |
| SRNN x*n 6 Neurons Other_Func | SRNN x*n 10 Neurons Other_Func |
| ![](./figures/sanity/sanity_6hidden_xtimesn.png) | ![](./figures/sanity/sanity_10hidden_xtimesn.png) |
- [ ] Training mit kleineren GNs
- [ ] Weiter Trainieren -> 500 Epochs?
- [x] Training ohne Residual Skip Connection
- Ist kacke
![image info](./figures/no_res_training_lineplot.png)
![image info](./figures/no_res_dropout_stacked_barplot.png)
- Ist anders:
Self Training wird zunächst priorisiert, dann kommt langsam der eigentliche Task durch:
| No Residual Skip connections 8 Neurons in SRNN Alpha=100 | Residual Skip connections 8 Neurons in SRNN Alpha=100 |
|------------------------------------------------------------------------------------------|----------------------------------------------------------------------------------------------|
| ![LinePlot](./figures/res_no_res/mn_st_200_8_alpha_100_no_res_training_particle_type_lp.png) | ![image info](./figures/res_no_res/mn_st_200_8_alpha_100_training_particle_type_lp.png) |
| ![image info](./figures/res_no_res/mn_st_200_8_alpha_100_no_res_training_lineplot.png) | ![image info](./figures/res_no_res/mn_st_200_8_alpha_100_training_lineplot.png) |
- [ ] Test mit Baseline Dense Network
- [ ] mit vergleichbaren Neuron Count
- [ ] mit gesamt Weight Count
@@ -56,4 +69,3 @@
- (Spaß bei Seite, wäre wichtig für schnellere Forschung)
<https://pytorch.org/docs/stable/sparse.html>
---