[solved] [glibc] broken on ClearFog Base as of 2.31-2

[tpoechtrager]

Upgrade log:

$this->bbcode_second_pass_code('', '
clearfog-base-gw:/root
# pacman -Syu
:: Synchronizing package databases...
core 216.0 KiB 1149 KiB/s 00:00 [#######################################################] 100%
extra 2.2 MiB 11.3 MiB/s 00:00 [#######################################################] 100%
community 4.7 MiB 17.0 MiB/s 00:00 [#######################################################] 100%
alarm 118.6 KiB 14.5 MiB/s 00:00 [#######################################################] 100%
aur is up to date
:: Starting full system upgrade...
:: Replace libwbclient with extra/smbclient? [Y/n]
warning: modemmanager: ignoring package upgrade (1.8.2-1 => 1.12.8-1)
resolving dependencies...
looking for conflicting packages...

Packages (31) bind-tools-9.16.2-2 binutils-2.34-2 boost-libs-1.72.0-2 cryptsetup-2.3.2-1 curl-7.70.0-1 elfutils-0.178-2 gcc-libs-9.3.0-1
glibc-2.31-2 iana-etc-20200428-1 icu-67.1-1 json-c-0.14-1 ldb-1:2.1.2-1 libcups-2.3.3-1 libmicrohttpd-0.9.70-1
libtool-2.4.6+44+gb9b44533-11 libwbclient-4.11.3-3 [removal] libxml2-2.9.10-2 licenses-20200427-1 linux-armv7-5.6.8-1 man-pages-5.06-2
netctl-1.22-1 pacman-5.2.1-5 pacman-mirrorlist-20200430-1 php-7.4.5-2 php-apache-7.4.5-2 pkgconf-1.6.3-4 s-nail-14.9.19-1
samba-4.12.2-3 smbclient-4.12.2-3 texinfo-6.7-3 xfsprogs-5.6.0-2

Total Download Size: 125.47 MiB
Total Installed Size: 464.94 MiB
Net Upgrade Size: 16.71 MiB

:: Proceed with installation? [Y/n]
:: Retrieving packages...
iana-etc-20200428-1-any 371.0 KiB 1405 KiB/s 00:00 [#######################################################] 100%
glibc-2.31-2-armv7h 8.3 MiB 17.7 MiB/s 00:00 [#######################################################] 100%
gcc-libs-9.3.0-1-armv7h 23.7 MiB 11.1 MiB/s 00:02 [#######################################################] 100%
icu-67.1-1-armv7h 8.6 MiB 16.9 MiB/s 00:01 [#######################################################] 100%
json-c-0.14-1-armv7h 46.2 KiB 11.3 MiB/s 00:00 [#######################################################] 100%
cryptsetup-2.3.2-1-armv7h 460.7 KiB 14.1 MiB/s 00:00 [#######################################################] 100%
curl-7.70.0-1-armv7h 956.2 KiB 16.7 MiB/s 00:00 [#######################################################] 100%
libmicrohttpd-0.9.70-1-armv7h 189.0 KiB 15.4 MiB/s 00:00 [#######################################################] 100%
elfutils-0.178-2-armv7h 472.7 KiB 10.5 MiB/s 00:00 [#######################################################] 100%
binutils-2.34-2-armv7h 4.8 MiB 16.1 MiB/s 00:00 [#######################################################] 100%
libtool-2.4.6+44+gb9b44533-11-armv7h 397.2 KiB 12.1 MiB/s 00:00 [#######################################################] 100%
licenses-20200427-1-any 66.8 KiB 0.00 B/s 00:00 [#######################################################] 100%
linux-armv7-5.6.8-1-armv7h 46.4 MiB 15.5 MiB/s 00:03 [#######################################################] 100%
man-pages-5.06-2-any 5.8 MiB 13.1 MiB/s 00:00 [#######################################################] 100%
netctl-1.22-1-any 39.3 KiB 3.20 MiB/s 00:00 [#######################################################] 100%
pacman-mirrorlist-20200430-1-any 2.5 KiB 0.00 B/s 00:00 [#######################################################] 100%
pacman-5.2.1-5-armv7h 723.1 KiB 17.7 MiB/s 00:00 [#######################################################] 100%
pkgconf-1.6.3-4-armv7h 49.7 KiB 12.1 MiB/s 00:00 [#######################################################] 100%
s-nail-14.9.19-1-armv7h 455.1 KiB 13.9 MiB/s 00:00 [#######################################################] 100%
texinfo-6.7-3-armv7h 1261.3 KiB 12.8 MiB/s 00:00 [#######################################################] 100%
xfsprogs-5.6.0-2-armv7h 875.0 KiB 15.3 MiB/s 00:00 [#######################################################] 100%
libxml2-2.9.10-2-armv7h 1156.0 KiB 18.8 MiB/s 00:00 [#######################################################] 100%
bind-tools-9.16.2-2-armv7h 1523.8 KiB 17.7 MiB/s 00:00 [#######################################################] 100%
boost-libs-1.72.0-2-armv7h 1734.0 KiB 16.9 MiB/s 00:00 [#######################################################] 100%
ldb-1:2.1.2-1-armv7h 171.1 KiB 8.36 MiB/s 00:00 [#######################################################] 100%
libcups-2.3.3-1-armv7h 229.6 KiB 14.0 MiB/s 00:00 [#######################################################] 100%
smbclient-4.12.2-3-armv7h 5.0 MiB 14.8 MiB/s 00:00 [#######################################################] 100%
php-7.4.5-2-armv7h 3.0 MiB 15.8 MiB/s 00:00 [#######################################################] 100%
php-apache-7.4.5-2-armv7h 1957.9 KiB 19.9 MiB/s 00:00 [#######################################################] 100%
samba-4.12.2-3-armv7h 7.1 MiB 18.6 MiB/s 00:00 [#######################################################] 100%
(30/30) checking keys in keyring [#######################################################] 100%
(30/30) checking package integrity [#######################################################] 100%
(30/30) loading package files [#######################################################] 100%
(30/30) checking for file conflicts [#######################################################] 100%
(31/31) checking available disk space [#######################################################] 100%
:: Processing package changes...
(1/1) removing libwbclient [#######################################################] 100%
( 1/30) upgrading iana-etc [#######################################################] 100%
( 2/30) upgrading glibc [#######################################################] 100%
error: command terminated by signal 4: Illegal instruction
( 3/30) upgrading gcc-libs [#######################################################] 100%
( 4/30) upgrading icu [#######################################################] 100%
( 5/30) upgrading libxml2 [#######################################################] 100%
( 6/30) upgrading json-c [#######################################################] 100%
( 7/30) upgrading bind-tools [#######################################################] 100%
( 8/30) upgrading cryptsetup [#######################################################] 100%
( 9/30) upgrading curl [#######################################################] 100%
(10/30) installing libmicrohttpd [#######################################################] 100%
(11/30) installing elfutils [#######################################################] 100%
(12/30) upgrading binutils [#######################################################] 100%
(13/30) upgrading boost-libs [#######################################################] 100%
(14/30) upgrading ldb [#######################################################] 100%
(15/30) upgrading libcups [#######################################################] 100%
(16/30) upgrading libtool [#######################################################] 100%
(17/30) upgrading smbclient [#######################################################] 100%
New optional dependencies for smbclient
python-dnspython: samba_dnsupdate and samba_upgradedns in AD setup
(18/30) upgrading licenses [#######################################################] 100%
(19/30) upgrading linux-armv7 [#######################################################] 100%
(20/30) upgrading man-pages [#######################################################] 100%
(21/30) upgrading netctl [#######################################################] 100%
error: command terminated by signal 4: Illegal instruction
(22/30) upgrading pacman-mirrorlist [#######################################################] 100%
warning: /etc/pacman.d/mirrorlist installed as /etc/pacman.d/mirrorlist.pacnew
(23/30) upgrading pacman [#######################################################] 100%
(24/30) upgrading php [#######################################################] 100%
(25/30) upgrading php-apache [#######################################################] 100%
(26/30) upgrading pkgconf [#######################################################] 100%
(27/30) upgrading s-nail [#######################################################] 100%
(28/30) upgrading samba [#######################################################] 100%
error: command terminated by signal 4: Illegal instruction
New optional dependencies for samba
python-dnspython: samba_dnsupdate and samba_upgradedns in AD setup
(29/30) upgrading texinfo [#######################################################] 100%
(30/30) upgrading xfsprogs [#######################################################] 100%
:: Running post-transaction hooks...
(1/9) Reloading system manager configuration...
error: command terminated by signal 4: Illegal instruction
(2/9) Creating temporary files...
error: command terminated by signal 4: Illegal instruction
(3/9) Arming ConditionNeedsUpdate...
error: command terminated by signal 4: Illegal instruction
(4/9) Updating module dependencies...
error: command terminated by signal 4: Illegal instruction
(5/9) Updating linux-armv7 module dependencies...
error: command terminated by signal 4: Illegal instruction
(6/9) Restarting cronie for libc upgrade...
error: command terminated by signal 4: Illegal instruction
(7/9) Updating linux-armv7 initcpios...
error: command terminated by signal 4: Illegal instruction
(8/9) Updating linux initcpios...
error: command terminated by signal 4: Illegal instruction
(9/9) Updating the info directory file...
error: command terminated by signal 4: Illegal instruction
')

On another ClearFog Base, I have two of them, I can verify it's indeed the C library that's broken.

$this->bbcode_second_pass_code('', '
clearfog-base-gnss:/root
# tar xf glibc-2.31-2-armv7h.pkg.tar.xz
clearfog-base-gnss:/root
# LD_LIBRARY_PATH=./usr/lib/ bash
Segmentation fault (core dumped)
')

Working glibc: 2.30-3

[tpoechtrager]

For others who may also encounter this:

Do not close your SSH shell. Do not reboot. You can fix your ClearFog without reinstalling.

Mount a USB stick on your PC and copy the contents of http://tardis.tiny-vps.com/aarm/package ... pkg.tar.xz{.sig} (verify the signature first) onto it.

On your ClearFog most commands are broken now (pacman, curl, wget, tar and so on) but 'mount' and 'cp' still work.

Mount the USB stick on your ClearFog and overwrite the C library in /. Once this is done you can use 'pacman' again. Downgrade the package with 'pacman -U ./glibc-2.30-3-armv7h.pkg.tar.xz --overwrite=*' and add glibc to IgnorePkg in /etc/pacman.conf. Maybe also run 'pacman -S linux-armv7' again to ensure the kernel's not broken.

[moonman]

Everything works. Reboot is what it probably needed.

$this->bbcode_second_pass_code('', '[root@ClearFog ~]# pacman -Qs glibc
local/glibc 2.31-2
GNU C Library
[root@ClearFog ~]# uname -a
Linux ClearFog 5.6.8-1-ARCH #1 SMP PREEMPT Fri May 1 01:40:24 UTC 2020 armv7l GNU/Linux
')

[tpoechtrager]

$this->bbcode_second_pass_code('', '
# reboot
Illegal instruction (core dumped)
')
Well...

It's the kernel that caused problems. I have had 5.5.x installed - not rebooted since Februrary. It went smooth on the other ClearFog with a 5.6.x kernel.

Sorry for the inconvenience.