[solved] [glibc] broken on ClearFog Base as of 2.31-2

[tpoechtrager]

Upgrade log:

Code: Select all

clearfog-base-gw:/root
# pacman -Syu
:: Synchronizing package databases...
 core                                                             216.0 KiB  1149 KiB/s 00:00 [#######################################################] 100%
 extra                                                              2.2 MiB  11.3 MiB/s 00:00 [#######################################################] 100%
 community                                                          4.7 MiB  17.0 MiB/s 00:00 [#######################################################] 100%
 alarm                                                            118.6 KiB  14.5 MiB/s 00:00 [#######################################################] 100%
 aur is up to date
:: Starting full system upgrade...
:: Replace libwbclient with extra/smbclient? [Y/n]
warning: modemmanager: ignoring package upgrade (1.8.2-1 => 1.12.8-1)
resolving dependencies...
looking for conflicting packages...

Packages (31) bind-tools-9.16.2-2  binutils-2.34-2  boost-libs-1.72.0-2  cryptsetup-2.3.2-1  curl-7.70.0-1  elfutils-0.178-2  gcc-libs-9.3.0-1
              glibc-2.31-2  iana-etc-20200428-1  icu-67.1-1  json-c-0.14-1  ldb-1:2.1.2-1  libcups-2.3.3-1  libmicrohttpd-0.9.70-1
              libtool-2.4.6+44+gb9b44533-11  libwbclient-4.11.3-3 [removal]  libxml2-2.9.10-2  licenses-20200427-1  linux-armv7-5.6.8-1  man-pages-5.06-2
              netctl-1.22-1  pacman-5.2.1-5  pacman-mirrorlist-20200430-1  php-7.4.5-2  php-apache-7.4.5-2  pkgconf-1.6.3-4  s-nail-14.9.19-1
              samba-4.12.2-3  smbclient-4.12.2-3  texinfo-6.7-3  xfsprogs-5.6.0-2

Total Download Size:   125.47 MiB
Total Installed Size:  464.94 MiB
Net Upgrade Size:       16.71 MiB

:: Proceed with installation? [Y/n]
:: Retrieving packages...
 iana-etc-20200428-1-any                                          371.0 KiB  1405 KiB/s 00:00 [#######################################################] 100%
 glibc-2.31-2-armv7h                                                8.3 MiB  17.7 MiB/s 00:00 [#######################################################] 100%
 gcc-libs-9.3.0-1-armv7h                                           23.7 MiB  11.1 MiB/s 00:02 [#######################################################] 100%
 icu-67.1-1-armv7h                                                  8.6 MiB  16.9 MiB/s 00:01 [#######################################################] 100%
 json-c-0.14-1-armv7h                                              46.2 KiB  11.3 MiB/s 00:00 [#######################################################] 100%
 cryptsetup-2.3.2-1-armv7h                                        460.7 KiB  14.1 MiB/s 00:00 [#######################################################] 100%
 curl-7.70.0-1-armv7h                                             956.2 KiB  16.7 MiB/s 00:00 [#######################################################] 100%
 libmicrohttpd-0.9.70-1-armv7h                                    189.0 KiB  15.4 MiB/s 00:00 [#######################################################] 100%
 elfutils-0.178-2-armv7h                                          472.7 KiB  10.5 MiB/s 00:00 [#######################################################] 100%
 binutils-2.34-2-armv7h                                             4.8 MiB  16.1 MiB/s 00:00 [#######################################################] 100%
 libtool-2.4.6+44+gb9b44533-11-armv7h                             397.2 KiB  12.1 MiB/s 00:00 [#######################################################] 100%
 licenses-20200427-1-any                                           66.8 KiB  0.00   B/s 00:00 [#######################################################] 100%
 linux-armv7-5.6.8-1-armv7h                                        46.4 MiB  15.5 MiB/s 00:03 [#######################################################] 100%
 man-pages-5.06-2-any                                               5.8 MiB  13.1 MiB/s 00:00 [#######################################################] 100%
 netctl-1.22-1-any                                                 39.3 KiB  3.20 MiB/s 00:00 [#######################################################] 100%
 pacman-mirrorlist-20200430-1-any                                   2.5 KiB  0.00   B/s 00:00 [#######################################################] 100%
 pacman-5.2.1-5-armv7h                                            723.1 KiB  17.7 MiB/s 00:00 [#######################################################] 100%
 pkgconf-1.6.3-4-armv7h                                            49.7 KiB  12.1 MiB/s 00:00 [#######################################################] 100%
 s-nail-14.9.19-1-armv7h                                          455.1 KiB  13.9 MiB/s 00:00 [#######################################################] 100%
 texinfo-6.7-3-armv7h                                            1261.3 KiB  12.8 MiB/s 00:00 [#######################################################] 100%
 xfsprogs-5.6.0-2-armv7h                                          875.0 KiB  15.3 MiB/s 00:00 [#######################################################] 100%
 libxml2-2.9.10-2-armv7h                                         1156.0 KiB  18.8 MiB/s 00:00 [#######################################################] 100%
 bind-tools-9.16.2-2-armv7h                                      1523.8 KiB  17.7 MiB/s 00:00 [#######################################################] 100%
 boost-libs-1.72.0-2-armv7h                                      1734.0 KiB  16.9 MiB/s 00:00 [#######################################################] 100%
 ldb-1:2.1.2-1-armv7h                                             171.1 KiB  8.36 MiB/s 00:00 [#######################################################] 100%
 libcups-2.3.3-1-armv7h                                           229.6 KiB  14.0 MiB/s 00:00 [#######################################################] 100%
 smbclient-4.12.2-3-armv7h                                          5.0 MiB  14.8 MiB/s 00:00 [#######################################################] 100%
 php-7.4.5-2-armv7h                                                 3.0 MiB  15.8 MiB/s 00:00 [#######################################################] 100%
 php-apache-7.4.5-2-armv7h                                       1957.9 KiB  19.9 MiB/s 00:00 [#######################################################] 100%
 samba-4.12.2-3-armv7h                                              7.1 MiB  18.6 MiB/s 00:00 [#######################################################] 100%
(30/30) checking keys in keyring                                                              [#######################################################] 100%
(30/30) checking package integrity                                                            [#######################################################] 100%
(30/30) loading package files                                                                 [#######################################################] 100%
(30/30) checking for file conflicts                                                           [#######################################################] 100%
(31/31) checking available disk space                                                         [#######################################################] 100%
:: Processing package changes...
(1/1) removing libwbclient                                                                    [#######################################################] 100%
( 1/30) upgrading iana-etc                                                                    [#######################################################] 100%
( 2/30) upgrading glibc                                                                       [#######################################################] 100%
error: command terminated by signal 4: Illegal instruction
( 3/30) upgrading gcc-libs                                                                    [#######################################################] 100%
( 4/30) upgrading icu                                                                         [#######################################################] 100%
( 5/30) upgrading libxml2                                                                     [#######################################################] 100%
( 6/30) upgrading json-c                                                                      [#######################################################] 100%
( 7/30) upgrading bind-tools                                                                  [#######################################################] 100%
( 8/30) upgrading cryptsetup                                                                  [#######################################################] 100%
( 9/30) upgrading curl                                                                        [#######################################################] 100%
(10/30) installing libmicrohttpd                                                              [#######################################################] 100%
(11/30) installing elfutils                                                                   [#######################################################] 100%
(12/30) upgrading binutils                                                                    [#######################################################] 100%
(13/30) upgrading boost-libs                                                                  [#######################################################] 100%
(14/30) upgrading ldb                                                                         [#######################################################] 100%
(15/30) upgrading libcups                                                                     [#######################################################] 100%
(16/30) upgrading libtool                                                                     [#######################################################] 100%
(17/30) upgrading smbclient                                                                   [#######################################################] 100%
New optional dependencies for smbclient
    python-dnspython: samba_dnsupdate and samba_upgradedns in AD setup
(18/30) upgrading licenses                                                                    [#######################################################] 100%
(19/30) upgrading linux-armv7                                                                 [#######################################################] 100%
(20/30) upgrading man-pages                                                                   [#######################################################] 100%
(21/30) upgrading netctl                                                                      [#######################################################] 100%
error: command terminated by signal 4: Illegal instruction
(22/30) upgrading pacman-mirrorlist                                                           [#######################################################] 100%
warning: /etc/pacman.d/mirrorlist installed as /etc/pacman.d/mirrorlist.pacnew
(23/30) upgrading pacman                                                                      [#######################################################] 100%
(24/30) upgrading php                                                                         [#######################################################] 100%
(25/30) upgrading php-apache                                                                  [#######################################################] 100%
(26/30) upgrading pkgconf                                                                     [#######################################################] 100%
(27/30) upgrading s-nail                                                                      [#######################################################] 100%
(28/30) upgrading samba                                                                       [#######################################################] 100%
error: command terminated by signal 4: Illegal instruction
New optional dependencies for samba
    python-dnspython: samba_dnsupdate and samba_upgradedns in AD setup
(29/30) upgrading texinfo                                                                     [#######################################################] 100%
(30/30) upgrading xfsprogs                                                                    [#######################################################] 100%
:: Running post-transaction hooks...
(1/9) Reloading system manager configuration...
error: command terminated by signal 4: Illegal instruction
(2/9) Creating temporary files...
error: command terminated by signal 4: Illegal instruction
(3/9) Arming ConditionNeedsUpdate...
error: command terminated by signal 4: Illegal instruction
(4/9) Updating module dependencies...
error: command terminated by signal 4: Illegal instruction
(5/9) Updating linux-armv7 module dependencies...
error: command terminated by signal 4: Illegal instruction
(6/9) Restarting cronie for libc upgrade...
error: command terminated by signal 4: Illegal instruction
(7/9) Updating linux-armv7 initcpios...
error: command terminated by signal 4: Illegal instruction
(8/9) Updating linux initcpios...
error: command terminated by signal 4: Illegal instruction
(9/9) Updating the info directory file...
error: command terminated by signal 4: Illegal instruction


On another ClearFog Base, I have two of them, I can verify it's indeed the C library that's broken.

Code: Select all

clearfog-base-gnss:/root
# tar xf glibc-2.31-2-armv7h.pkg.tar.xz
clearfog-base-gnss:/root
# LD_LIBRARY_PATH=./usr/lib/ bash
Segmentation fault (core dumped)


Working glibc: 2.30-3

[tpoechtrager]

For others who may also encounter this:

Do not close your SSH shell. Do not reboot. You can fix your ClearFog without reinstalling.

Mount a USB stick on your PC and copy the contents of http://tardis.tiny-vps.com/aarm/package ... pkg.tar.xz{.sig} (verify the signature first) onto it.

On your ClearFog most commands are broken now (pacman, curl, wget, tar and so on) but 'mount' and 'cp' still work.

Mount the USB stick on your ClearFog and overwrite the C library in /. Once this is done you can use 'pacman' again. Downgrade the package with 'pacman -U ./glibc-2.30-3-armv7h.pkg.tar.xz --overwrite=*' and add glibc to IgnorePkg in /etc/pacman.conf. Maybe also run 'pacman -S linux-armv7' again to ensure the kernel's not broken.

[moonman]

Everything works. Reboot is what it probably needed.

Code: Select all

[root@ClearFog ~]# pacman -Qs glibc
local/glibc 2.31-2
    GNU C Library
[root@ClearFog ~]# uname -a
Linux ClearFog 5.6.8-1-ARCH #1 SMP PREEMPT Fri May 1 01:40:24 UTC 2020 armv7l GNU/Linux


[tpoechtrager]

Code: Select all

# reboot
Illegal instruction (core dumped)


Well...

It's the kernel that caused problems. I have had 5.5.x installed - not rebooted since Februrary. It went smooth on the other ClearFog with a 5.6.x kernel.

Sorry for the inconvenience.