# ISPConfig LXC Container



## logifech (28. Juli 2015)

Hi,
kurze Frage, laufen ISPconfig server genauso gut mit LXC Containern wie unter OpenVZ?? Falls ja was muss ich beachten wenn ich ISPCOnfig in einem LXC Container installiere (Userqota etc.)
Hintergrund ist der, da bei Proxmox version 4.x kein OpenVZ sondern nur noch LXC an board ist.
Gruß
logifech


----------



## Till (28. Juli 2015)

LXC kann kein Quota, also sind alle webs unbeschränkt in der Größe. Ansonsten sollte ISPConfig funktionieren wie üblich.


----------



## tafkaz (1. Sep. 2017)

Hallo 
Muss den Thread hier leider mal kapern.
Dass Quota nicht ohne Klimmzüge geht bei LXC haben wir gelesen, aber unsere ISPconfig VM in LXC hängt jetzt in unregelmäßigen Abständen komplett. Dann sind plötzlich weder die Ports für mail oder DNS erreichbar, noch kann man sich erfolreich anmelden (der login funktioniert aber, nur anmelden geht dann nicht, wegen timeout irgendwann). Die VM ist eine von OpenVZ migrierte und wir hatten mit OpenVZ nie solche Probleme.
Hat jemand vielleicht eine Idee, was hier los sein könnte? Sieht ja irgendwie nach Überlastung der VM aus, aber in den Logs oder den TOP-Werten ist alles ruhig...

Danke
Sascha


----------



## ramrod (9. Sep. 2017)

Bei meinem proxmox läuft auch ein ISPconfig und bisher eigentlich recht problemfrei. Quota funktioniert übrigens auch.
Fiert der Container denn komplett ein? Irgendwelche Fehlermeldungen evtl.?
Welche Proxmox Version verwendest du?


----------



## tafkaz (10. Sep. 2017)

Moin,
na das ist ja das Problem, der LXC Container ist einfach immer weniger erreichbar, bis man sich dann nicht mal mehr per Proxmox-Konsole (NOVNC) anmelden kann. Das erste das wegbricht ist dabei scheinbar immer der Postfix und der MySQL.
Nachdem wir die LXC Backups jetzt von "Snapshot" auf "Stop" gestellt haben ist das Problem aber tatsächlich behoben...die Kiste läuft jetzt jeden Morgen wie erwartet.
Aber das kann es doch eigentlich nicht sein, oder?

lg
Sascha


----------



## Till (10. Sep. 2017)

Zitat von ramrod:


> Bei meinem proxmox läuft auch ein ISPconfig und bisher eigentlich recht problemfrei. Quota funktioniert übrigens auch.
> Fiert der Container denn komplett ein? Irgendwelche Fehlermeldungen evtl.?
> Welche Proxmox Version verwendest du?


Proxmox kann ja lxc und KVM. Sicher dass Du da LXC nimmst bzgl. Quota und hast Du getestet ob es auch wirklich geht, also versucht per FTP upload oder ähnlichem das Quota zu überschreiten? Es gibt auch varianten Quota in LXC zu haben, gibt es auch Tutorial bei howtoforge.com dazu. Das ist aber sehr langsam, auch möglich dass proxmox diese Variante genmmen hat.


----------



## tafkaz (11. Sep. 2017)

Hi,
also nach dem Umstellen von Snapshot-Backups auf Stop-Backups in Proxmox lief die VM sauber durch, vier Tage lang.
...Bis heute morgen...
Gleiches Problem, wie vorher.
Proxmox Version ist 5.0.30, 
Für die VM habe ich in der Proxmox GUI quota an- und acl abgeschaltet.
Ob Quota richtig funktionieren, weiss ich nicht, das wäre jetzt aber auch nicht so irre wichtig.
Bin verzweifelt...
Danke
Sascha


----------



## planet_fox (13. Sep. 2017)

Hi 
kommst du auf die console via 


> pct enter ID


und was läuft da noch ? 

Ich hatte letztes Jahr das Problem das ehemalige vz Clients keine Dienste mehr hatte. man konnte zwar starten aber nix passierte. War aber noch Proxmox 4 . In jedenfall bin ich seitdem kein Freund mehr von LXC . LXC ist noch nicht wirklich auf dem Level von OpenVZ


----------



## tafkaz (14. Sep. 2017)

Hi,

ja mit pct enter komme ich noch rein, htop sieht dann aber harmlos aus.
Alle (wichtigen) Dienste scheinen zu laufen (service DIENSTNAME status) aber bei restart von mysql wird dieser nicht neu gestartet. der Befehl hängt dann einfach, was mich glauben lässt, dass mysql vlt das Grundproblem ist, daran hängt ja auch so ziemlich alles andere...würde also passen.
In den Logs sehe ich nichts auffälliges, kompletter Neustart der VM behebt das Problem sofort.
Hier mal ein paar Auszüge, die vlt helfen können...
Logs auf dem ISPConfig Guest während des "Stop"-Backups der VM (auf dem Proxmox Host) und kurz danach bis zum Crash:

```
Das Image Backup ("Stop") wird angestoßen:

> Sep 11 03:07:54 ohoco-host vmunix: [716379.559693] fwbr101i0: port 1(fwln101i0) entered forwarding state
> Sep 11 03:07:54 ohoco-host vmunix: [716379.562144] vmbr1: port 1(fwpr101p0) entered disabled state
> Sep 11 03:07:54 ohoco-host vmunix: [716379.562207] vmbr1: port 1(fwpr101p0) entered blocking state
> Sep 11 03:07:54 ohoco-host vmunix: [716379.651293] eth0: renamed from veth4XJ8WV
> Sep 11 03:07:55 ohoco-host syslogd: exiting on signal 15

Das Backup wurde erfolgreich erstellt, die VM wieder hochgefahren:

> Sep 11 04:50:59 ohoco-host syslogd (GNU inetutils UNKNOWN): restart
> Sep 11 04:50:59 ohoco-host postfix-policyd: starting policyd v1.82
> Sep 11 04:51:01 ohoco-host postfix-policyd: connecting to mysql database: localhost
> Sep 11 04:51:01 ohoco-host postfix-policyd: mysql_real_connect(): Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock' (2)
> Sep 11 04:51:01 ohoco-host CRON[370]: (root) CMD (/usr/local/ispconfig/server/server.sh 2>&1 > /dev/null | while read line; do echo `/bin/date` "$line" >> /var/log/ispconfig/cron.log; done)
> Sep 11 04:51:02 ohoco-host postgrey[377]: Process Backgrounded
> Sep 11 04:51:02 ohoco-host postgrey[377]: 2017/09/11-04:51:02 postgrey (type Net::Server::Multiplex) starting! pid(377)
> Sep 11 04:51:02 ohoco-host postgrey[377]: Resolved [localhost]:10023 to [::1]:10023, IPv6
> Sep 11 04:51:02 ohoco-host postgrey[377]: Resolved [localhost]:10023 to [127.0.0.1]:10023, IPv4
> Sep 11 04:51:02 ohoco-host postgrey[377]: Binding to TCP port 10023 on host ::1 with IPv6
> Sep 11 04:51:02 ohoco-host postgrey[377]: Binding to TCP port 10023 on host 127.0.0.1 with IPv4
> Sep 11 04:51:02 ohoco-host postgrey[377]: Setting gid to "115 115"
> Sep 11 04:51:02 ohoco-host postgrey[377]: Setting uid to "110"
> Sep 11 04:51:02 ohoco-host postfix/policyd-weight[439]: policyd-weight 0.1.15 beta-2 started and daemonized. conf:/etc/policyd-weight.conf; GID:119 119 EGID:119 119 UID:115 EUID:115; taint mode: 0
> Sep 11 04:51:02 ohoco-host postfix/policyd-weight[439]: cache_query: start: calling spawn_cache()
> Sep 11 04:51:02 ohoco-host postfix/policyd-weight[440]: cache spawned
> Sep 11 04:51:03 ohoco-host mysqld_safe: Starting mysqld daemon with databases from /var/lib/mysql
> Sep 11 04:51:03 ohoco-host mysqld: 170911  4:51:03 [Warning] Using unique option prefix key_buffer instead of key_buffer_size is deprecated and will be removed in a future release. Please use the full name instead.
> Sep 11 04:51:03 ohoco-host mysqld: 170911  4:51:03 [Note] /usr/sbin/mysqld (mysqld 5.5.57-0+deb8u1) starting as process 751 ...
> Sep 11 04:51:03 ohoco-host mysqld: 170911  4:51:03 [ERROR] An old style --language value with language specific part detected: /usr/share/mysql/english/
> Sep 11 04:51:03 ohoco-host mysqld: 170911  4:51:03 [ERROR] Use --lc-messages-dir without language specific part instead.
> Sep 11 04:51:03 ohoco-host mysqld: 170911  4:51:03 [Warning] Using unique option prefix myisam-recover instead of myisam-recover-options is deprecated and will be removed in a future release. Please use the full name instead.
> Sep 11 04:51:03 ohoco-host mysqld: 170911  4:51:03 [Note] Plugin 'FEDERATED' is disabled.
> Sep 11 04:51:03 ohoco-host mysqld: 170911  4:51:03 InnoDB: The InnoDB memory heap is disabled
> Sep 11 04:51:03 ohoco-host mysqld: 170911  4:51:03 InnoDB: Mutexes and rw_locks use GCC atomic builtins
> Sep 11 04:51:03 ohoco-host mysqld: 170911  4:51:03 InnoDB: Compressed tables use zlib 1.2.8
> Sep 11 04:51:03 ohoco-host mysqld: 170911  4:51:03 InnoDB: Using Linux native AIO
> Sep 11 04:51:04 ohoco-host mysqld: 170911  4:51:04 InnoDB: Initializing buffer pool, size = 128.0M
> Sep 11 04:51:04 ohoco-host mysqld: 170911  4:51:04 InnoDB: Completed initialization of buffer pool
> Sep 11 04:51:04 ohoco-host mysqld: 170911  4:51:04 InnoDB: highest supported file format is Barracuda.
[...]
Und dann:
> Sep 11 04:55:22 ohoco-host vmunix: [722827.611920] device veth204i0 entered promiscuous mode
> Sep 11 04:55:23 ohoco-host vmunix: [722828.542077] audit: type=1400 audit(1505098523.362:112): apparmor="DENIED" operation="mount" info="failed type match" error=-13 profile="lxc-container-default-cgns" name="/dev/pts/" pid=29565 comm="mount" flags="rw, nosuid, noexec, remount, relatime"
Und danach war der Server glaube ich "down", denn im Syslog kommen nur noch MARKs
```
Ausserdem gibt es noch das hier an manchen Stellen:

```
Sep 11 04:55:22 ohoco-host vmunix: [722827.611920] device veth204i0 entered promiscuous mode
Sep 11 04:55:23 ohoco-host vmunix: [722828.542077] audit: type=1400 audit(1505098523.362:112): apparmor="DENIED" operation="mount" info="failed type match" error=-13 profile="lxc-container-default-cgns" name="/dev/pts/" pid=29565 comm="mount" flags="rw, nosuid, noexec, remount, relatime"
```
was mich dazu veranlasst hat, dass hier in der Datei 
 /etc/apparmor.d/lxc/lxc-default-cgns 
auf dem Host hinzuzufügen (Quelle: https://gist.github.com/gionn/7585324):

```
mount options=(rw, nosuid, noexec, remount, relatime, ro, bind)
```
Werde auch das Gefühl nicht los, das LXC noch nicht so weit ist...
Danke für Eure Hilfe
Sascha


----------



## tafkaz (14. Sep. 2017)

Passte nicht alles in einen Post...

Auf dem Proxmox Host derweil, während des Crashs und beim Neustart der VM:


```
Sep 12 22:34:00 proxmox systemd[1]: Started Proxmox VE replication runner.
Sep 12 22:34:18 proxmox smartd[1311]: Device: /dev/bus/0 [megaraid_disk_11] [SAT], SMART Prefailure Attribute: 1 Raw_Read_Error_Rate changed from 78 to 79
Sep 12 22:34:18 proxmox smartd[1311]: Device: /dev/bus/0 [megaraid_disk_11] [SAT], SMART Usage Attribute: 195 Hardware_ECC_Recovered changed from 21 to 22
Sep 12 22:35:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
Sep 12 22:35:00 proxmox systemd[1]: Started Proxmox VE replication runner.
Sep 12 22:36:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
Sep 12 22:36:00 proxmox systemd[1]: Started Proxmox VE replication runner.
Sep 12 22:37:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
Sep 12 22:37:00 proxmox systemd[1]: Started Proxmox VE replication runner.
Sep 12 22:38:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
Sep 12 22:38:00 proxmox systemd[1]: Started Proxmox VE replication runner.
Sep 12 22:39:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
Sep 12 22:39:00 proxmox systemd[1]: Started Proxmox VE replication runner.
Sep 12 22:40:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
[...]
Sep 12 22:50:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
Sep 12 22:50:00 proxmox systemd[1]: Started Proxmox VE replication runner.
Sep 12 22:51:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
Sep 12 22:51:00 proxmox systemd[1]: Started Proxmox VE replication runner.
Sep 12 22:52:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
Sep 12 22:52:00 proxmox systemd[1]: Started Proxmox VE replication runner.
Sep 12 22:52:58 proxmox systemd[1]: lxc@102.service: Main process exited, code=exited, status=1/FAILURE
Sep 12 22:52:58 proxmox systemd[1]: Stopped LXC Container: 102.
Sep 12 22:52:58 proxmox systemd[1]: lxc@102.service: Unit entered failed state.
Sep 12 22:52:58 proxmox systemd[1]: lxc@102.service: Failed with result 'exit-code'.
Sep 12 22:52:58 proxmox systemd[1]: Starting LXC Container: 102...
Sep 12 22:52:59 proxmox systemd-udevd[27509]: Could not generate persistent MAC address for vethC7YYA7: No such file or directory
Sep 12 22:52:59 proxmox kernel: [13732.753470] IPv6: ADDRCONF(NETDEV_UP): veth102i0: link is not read
y
Sep 12 22:52:59 proxmox systemd-udevd[27570]: Could not generate persistent MAC address for fwbr102i0
: No such file or directory
Sep 12 22:52:59 proxmox systemd-udevd[27587]: Could not generate persistent MAC address for fwpr102p0
: No such file or directory
Sep 12 22:52:59 proxmox systemd-udevd[27588]: Could not generate persistent MAC address for fwln102i0
: No such file or directory
Sep 12 22:52:59 proxmox kernel: [13733.139549] fwbr102i0: port 1(fwln102i0) entered blocking state
Sep 12 22:52:59 proxmox kernel: [13733.139663] fwbr102i0: port 1(fwln102i0) entered blocking state
Sep 12 22:52:59 proxmox kernel: [13733.141796] vmbr1: port 2(fwpr102p0) entered disabled state
Sep 12 22:52:59 proxmox kernel: [13733.141905] vmbr1: port 2(fwpr102p0) entered forwarding state
Sep 12 22:52:59 proxmox kernel: [13733.147295] fwbr102i0: port 2(veth102i0) entered blocking state
Sep 12 22:52:59 proxmox kernel: [13733.147346] device veth102i0 entered promiscuous mode
Sep 12 22:53:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
Sep 12 22:53:00 proxmox systemd[1]: Started LXC Container: 102.
Sep 12 22:53:00 proxmox pvestatd[1851]: modified cpu set for lxc/102: 3-4
Sep 12 22:53:00 proxmox systemd[1]: Started Proxmox VE replication runner.
Sep 12 22:54:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
Sep 12 22:54:00 proxmox systemd[1]: Started Proxmox VE replication runner.
Sep 12 22:55:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
Sep 12 22:55:00 proxmox systemd[1]: Started Proxmox VE replication runner.
Sep 12 22:56:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
Sep 12 22:56:00 proxmox systemd[1]: Started Proxmox VE replication runner.
Sep 12 22:57:00 proxmox systemd[1]: Starting Proxmox VE replication runner...
```


----------



## ramrod (29. Sep. 2017)

Zitat von Till:


> Proxmox kann ja lxc und KVM. Sicher dass Du da LXC nimmst bzgl. Quota und hast Du getestet ob es auch wirklich geht, also versucht per FTP upload oder ähnlichem das Quota zu überschreiten? Es gibt auch varianten Quota in LXC zu haben, gibt es auch Tutorial bei howtoforge.com dazu. Das ist aber sehr langsam, auch möglich dass proxmox diese Variante genmmen hat.


Hallo Till, du hast Recht, da habe ich mich wohl etwas blenden lassen. Limitiere ich die Quota, so das diese überschritten ist, klappt der fileupload immer noch, trotz der Ausgabe:


```
web7      +-   65544   10240   11264  7days    3696     0     0
```


----------



## Till (30. Sep. 2017)

Danke für den Test, das hatte ich befürchtet.


----------

