Проблемы со swap на свежих ядрах

Ответить
betcher
Сообщения: 71
Зарегистрирован: 24 сен 2013, 06:37
Operating system: MagOS

Проблемы со swap на свежих ядрах

Сообщение betcher » 12 дек 2018, 18:10

Здравствуйте. При переводе магос на ядро 4.15 (сейчас 4.9) столкнулись с проблемой связанной с работой свопа. Сразу скажу, что проявляется не только на конкретном ядре и не только в Роса. Похоже на то, что подвержено большинство ядер (или все) начиная где-то с 4.14 (может и раньше). Некоторые из участников форума уже в курсе, но решил написать и в форум, чтоб тема не замылилась, потому что считаю проблему важной.
Итак. При интенсивном заполнении оперативной памяти очень медленно используется своп. Даже при значении сваппинесс 100 система уходит в жестокий фриз при пустом или слегка занятом свопе. Иногда система выходит из комы минут через пять, иногда дождаться не удается.
Проверяем двумя способами. Первый. Забиваем память открывая вкладки в браузере или/и создавая новые пустые изображения в гимп. Параллельно смотрим выхлоп free. Второй. Создаем tmpfs размером больше RAM, но меньше чем RAM+SWAP (tmpfs в отличии от ramdisk,ramfs умеет использовать своп) и пишем в tmpfs любые данные до заполненеия. На ядре 4.9 ни первый ни второй способ не приведет к остановке системы, на свежих же ядрах система встает колом не используя или почти не используя SWAP.

PastorDi
Сообщения: 2653
Зарегистрирован: 25 авг 2011, 12:34
Operating system: IBM DOS, OS/2
Откуда: Санкт-Петербург
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение PastorDi » 12 дек 2018, 19:06

Уже в ВК писал про себя. У меня эти тесты не воспроизвести. У меня заполняло до 4Gb swap раздел, И система живая была, но еле еле все открывалось, фриза как такового не было.

betcher
Сообщения: 71
Зарегистрирован: 24 сен 2013, 06:37
Operating system: MagOS

Проблемы со swap на свежих ядрах

Сообщение betcher » 12 дек 2018, 19:08

С tmpfs тоже проверяли? И которое ядро? Можете сравнить с 4.9 при аналогичных условиях?

PastorDi
Сообщения: 2653
Зарегистрирован: 25 авг 2011, 12:34
Operating system: IBM DOS, OS/2
Откуда: Санкт-Петербург
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение PastorDi » 12 дек 2018, 19:09

С tmpfs нет, не проверял. Ядро 4.15-40 было.

Аватара пользователя
Barmalei
Сообщения: 4817
Зарегистрирован: 29 дек 2014, 15:45
Operating system: Intel Pentium 2020M / 6 Gb RAM / AMD GRadeon HD 8570 / Rosa Fresh R11 KDE4 2016.1 x64

Проблемы со swap на свежих ядрах

Сообщение Barmalei » 12 дек 2018, 19:35

Убунта перешла с раздела на файл. Может из-за этих проблем?

ilfat
Сообщения: 28
Зарегистрирован: 15 фев 2016, 13:33
Operating system: ROSA Linux

Проблемы со swap на свежих ядрах

Сообщение ilfat » 12 дек 2018, 19:59

Файл не проверял, но со zram свопом то же самое.
Upd. С файлом ситуация аналогичная.

euspectre
Сообщения: 1104
Зарегистрирован: 21 дек 2012, 15:24
Operating system: Linux в разных вариантах

Проблемы со swap на свежих ядрах

Сообщение euspectre » 13 дек 2018, 09:39

В обсуждении этой проблемы в VK грешили на изменения в реализации THP (transparent huge pages).

Проверить просто:

Код: Выделить всё

# echo never > /sys/kernel/mm/transparent_hugepage/enabled
Затем (не перезагружаясь перед этим) снова попробовать забить память и swap.

euspectre
Сообщения: 1104
Зарегистрирован: 21 дек 2012, 15:24
Operating system: Linux в разных вариантах

Проблемы со swap на свежих ядрах

Сообщение euspectre » 13 дек 2018, 09:43

И, как обычно, после любых сбоев стоит делать пробу (hw-probe). Если получится - сразу, если нет - сразу после перезагрузки.

Без анализов лечить нельзя ;-)

Пока очень мало кто пробы делал в таких случаях.

ilfat
Сообщения: 28
Зарегистрирован: 15 фев 2016, 13:33
Operating system: ROSA Linux

Проблемы со swap на свежих ядрах

Сообщение ilfat » 13 дек 2018, 11:05

euspectre писал(а):
13 дек 2018, 09:39
echo never > /sys/kernel/mm/transparent_hugepage/enabled
Так тоже пробовали и через cmdline ядра (transparent_hugepage=never), эффекта никакого. Команды grep thp /proc/vmstat и grep -i hugepages /proc/meminfo ни разу не показали использование THP.

betcher
Сообщения: 71
Зарегистрирован: 24 сен 2013, 06:37
Operating system: MagOS

Проблемы со swap на свежих ядрах

Сообщение betcher » 13 дек 2018, 13:34

Весьма вероятно, что проблема связана с реализацией поддеожки hugepages для свопа, так как за вермя с 4.9 по 4.14 ядра в свопе вроде ничего кроме этог не меняли. Но просто оключение THP ничего не дает. МихаилZ даже отключать поддержку THP свопом в конфиге ядра пробовал, но там не так просто оказалось.

Аватара пользователя
mikhailnov
Сообщения: 138
Зарегистрирован: 29 авг 2015, 22:53
Operating system: Ubuntu, ROSA, FreeBSD
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение mikhailnov » 19 фев 2019, 22:17

Сейчас по SSH пытаюсь раскурить причины зависания одного ноутбука, пока, после нагрузок с помощью

Код: Выделить всё

stress --vm 2 --vm-bytes 2000M --vm-keep
подозреваю описанную здесь проблему.

4 ГБ ОЗУ, на 50% ОЗУ zram, дисковый своп на помирающем HDD (см. smartctl в пробе).
Проба оборудования: https://linux-hardware.org/index.php?probe=af73180d0c

Перед зависанием, из которого не смогли выйти без жесткого выключения, помню Load average 11.5.

ilfat
Сообщения: 28
Зарегистрирован: 15 фев 2016, 13:33
Operating system: ROSA Linux

Проблемы со swap на свежих ядрах

Сообщение ilfat » 22 мар 2019, 09:27

Ядро 5.0, а воз и ныне там (
На двух гигах спасает только Alt + SysReq +F.
На 4-х гигах не часто упирается.
На 4-х гигах пробовал:

Код: Выделить всё

stress --vm 2 --vm-bytes 2000M --vm-keep
Пришлось выключають жёстко.

Аватара пользователя
mikhailnov
Сообщения: 138
Зарегистрирован: 29 авг 2015, 22:53
Operating system: Ubuntu, ROSA, FreeBSD
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение mikhailnov » 22 мар 2019, 11:38

А есть эта проблема у кого-нибудь, у кого своп на SSD, а не HDD?

sirius2000
Сообщения: 42
Зарегистрирован: 19 дек 2016, 14:48
Operating system: ROSA Desktop Fresh R11 Plasma 5 x64
ROSA Desktop Fresh R11 LXQt x64
Откуда: Россия Волгоград

Проблемы со swap на свежих ядрах

Сообщение sirius2000 » 22 мар 2019, 12:28

SSD
[*] total used free shared buff/cache available
Mem: 2031868 309012 975296 13712 747560 1552728
Swap: 1047548 0 1047548
[*] total used free shared buff/cache available
Mem: 2031868 968760 141100 31040 922008 918320
Swap: 1047548 256 1047292
[*] total used free shared buff/cache available
Mem: 2031868 1018544 95648 36532 917676 935016
Swap: 1047548 256 1047292
[*] total used free shared buff/cache available
Mem: 2031868 1160428 82148 47932 789292 829108
Swap: 1047548 512 1047036
[*] total used free shared buff/cache available
Mem: 2031868 1424668 69428 45720 537772 504884
Swap: 1047548 2560 1044988
[*] total used free shared buff/cache available
Mem: 2031868 1659204 79352 57648 293312 200036
Swap: 1047548 3840 1043708
https://linux-hardware.org/?probe=eb7f6c277c

sirius2000
Сообщения: 42
Зарегистрирован: 19 дек 2016, 14:48
Operating system: ROSA Desktop Fresh R11 Plasma 5 x64
ROSA Desktop Fresh R11 LXQt x64
Откуда: Россия Волгоград

Проблемы со swap на свежих ядрах

Сообщение sirius2000 » 22 мар 2019, 12:51

[*] total used free shared buff/cache available
Mem: 2031868 1530372 115272 35604 386224 397876
Swap: 1047548 272384 775164
[*] total used free shared buff/cache available
Mem: 2031868 1750436 71328 47168 210104 124048
Swap: 1047548 269568 777980
Дальше начал тормозить

Аватара пользователя
VictorR2007
Сообщения: 5786
Зарегистрирован: 12 сен 2011, 13:00
Operating system: ROSA 2016.1
Откуда: Северодвинск

Проблемы со swap на свежих ядрах

Сообщение VictorR2007 » 23 мар 2019, 00:39

Не знаю, есть ли связь, но на ноутбуке после выхода из спящего режима, если попытаться
завершить сеанс, система уходит в аут.
Зависает и не на какие действия не откликается.
Попробовал на всех трёх ядрах 4.15.0, что у меня установлены.
Везде одно и то-же.
Проверял также на ядре 4.19.23.
То же самое.
До этого проверял на домашнем, и все нормально было.
Вспомнил, что на домашнем карта nvidia и установлены проприетарные дрова.
А на ноутбуке гибридная графика intel + nvidia, но проприетарные дрова nvidia не установлены.
Установил дрова, и после этого стало без проблем работать после выхода из
спящего режима.
Сеанс нормально завершается, и новый запускается.
Написал на случай, вдруг кто-то столкнётся с такой проблемой,
и вдруг и в других случаях зависания как то поможет.

Аватара пользователя
VictorR2007
Сообщения: 5786
Зарегистрирован: 12 сен 2011, 13:00
Operating system: ROSA 2016.1
Откуда: Северодвинск

Проблемы со swap на свежих ядрах

Сообщение VictorR2007 » 23 мар 2019, 12:07

А вот на ядре 5.0.0 http://abf-downloads.rosalinux.ru/kerne ... 0/release/
у меня нет проблем после выхода со спящего режима.
Только что проверял.
После пятого ядра ещё раз проверил на ядре 4.15.0, и даже не смог закрыть сеанс.
Всё наглухо зависло.

Аватара пользователя
ans
Сообщения: 2341
Зарегистрирован: 11 сен 2011, 08:42
Operating system: Rosa
Откуда: Ekaterinburg
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение ans » 23 мар 2019, 13:22

Давно хотел проверить работу swap-файла в Росе
Последний раз редактировалось ans 31 мар 2019, 07:20, всего редактировалось 1 раз.
Изображение

Аватара пользователя
Barmalei
Сообщения: 4817
Зарегистрирован: 29 дек 2014, 15:45
Operating system: Intel Pentium 2020M / 6 Gb RAM / AMD GRadeon HD 8570 / Rosa Fresh R11 KDE4 2016.1 x64

Проблемы со swap на свежих ядрах

Сообщение Barmalei » 23 мар 2019, 15:58

Rosa 11 vs KDE 4, intel+radeon свободные, ничего не зависает после просыпания. Ядро 4.15

Аватара пользователя
VictorR2007
Сообщения: 5786
Зарегистрирован: 12 сен 2011, 13:00
Operating system: ROSA 2016.1
Откуда: Северодвинск

Проблемы со swap на свежих ядрах

Сообщение VictorR2007 » 23 мар 2019, 16:55

Barmalei писал(а):
23 мар 2019, 15:58
Rosa 11 vs KDE 4, intel+radeon свободные, ничего не зависает после просыпания. Ядро 4.15
Значит вам не здесь нужно писать, а сделать тему «Нет проблем со swap на свежих ядрах» и туда писать.
Но в целом рады за вас. :)

Аватара пользователя
Barmalei
Сообщения: 4817
Зарегистрирован: 29 дек 2014, 15:45
Operating system: Intel Pentium 2020M / 6 Gb RAM / AMD GRadeon HD 8570 / Rosa Fresh R11 KDE4 2016.1 x64

Проблемы со swap на свежих ядрах

Сообщение Barmalei » 23 мар 2019, 18:14

VictorR2007 писал(а):
23 мар 2019, 16:55
Значит вам не здесь нужно писать, а сделать тему «Нет проблем со swap на свежих ядрах» и туда писать.
Но в целом рады за вас. :)
Тут и надо писать. Может проблема не в ядре то.

Аватара пользователя
Andreas17
Сообщения: 336
Зарегистрирован: 21 май 2017, 20:07
Operating system: AMD Athlon II X4 640, 12 ГБ ОЗУ, NVIDIA GTX 650, РОСА Fresh R11
Откуда: Москва

Проблемы со swap на свежих ядрах

Сообщение Andreas17 » 24 мар 2019, 00:27

Сделал так:

Код: Выделить всё

# stress --vm 1 --vm-bytes 10500M --vm-keep
Курсор подвис. Подумал, что система тоже того. Но нет, через некоторое время задвигался. Но с жуткими тормозами. Хорошо фокус на консоли не слетел и я прибил команду через Ctrl+C.

Код: Выделить всё

# uname -a
Linux MS-7578 4.15.0-desktop-45.1rosa-x86_64 #1 SMP PREEMPT Sat Feb 9 14:11:00 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux
Оперативы много, поэтому не знал о такой "фишке" со свопом. :roll: Это на всех ядрах так?

P.S. Файл подкачки на SSD.

betcher
Сообщения: 71
Зарегистрирован: 24 сен 2013, 06:37
Operating system: MagOS

Проблемы со swap на свежих ядрах

Сообщение betcher » 24 мар 2019, 14:20

Это на всех ядрах что успели проверить начиная с 4.9. То есть 4.9 еще норм дальше плюс-минус одинаково плохо.

Аватара пользователя
ans
Сообщения: 2341
Зарегистрирован: 11 сен 2011, 08:42
Operating system: Rosa
Откуда: Ekaterinburg
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение ans » 31 мар 2019, 07:42

Вчера система убилась. Давно хотел сделать установку с созданием swap-файла.
Оперативной памяти было 8Гб, система предложила swap на 11,7. Согласился с предложением.
После установки системы для интереса решил попробовать ещё zRam.

Код: Выделить всё

# swapon -s
Имя файла                               Тип             Размер  Исп-но  Приоритет
/swap                                   file            12025340        0       -2
/dev/zram0                              partition       661232  0       100
/dev/zram1                              partition       661232  0       100
/dev/zram2                              partition       661232  0       100
/dev/zram3                              partition       661232  0       100
Проверял работу через нагрузку на память через Gimp созданием проектов в 1.3Гб.
Загрузил 10 проектов - работает, загрузил 15 - работает. Стало заметно притормаживать, но не виснет.

Код: Выделить всё

# free
              total        used        free      shared  buff/cache   available
Mem:        8014984     6075056      167240      178836     1772688     1495840
Swap:      14670268       92928    14577340
Решил добить включением виртуалбокса с win7 - система призадумалась, но (!!!) вбокс загрузился. :shock:
И система при этом работала, медленно, кое-как, но не зависала!!!
Было использовано 7,2Гб ОЗУ и 2,3Гб Swap, ядро 5.0
Изображение

Аватара пользователя
Yamah
Сообщения: 1355
Зарегистрирован: 04 май 2012, 06:30
Operating system: Десктоп (дом): Rosa Fresh R8.1, Rosa Fresh R10
Десктоп (работа): Rosa Fresh R8.1/Rosa Fresh R10
Сервер (работа): Rosa Enterprise Linux Sercver 6.7
Нетбук: Rosa Fresh R10
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение Yamah » 31 мар 2019, 09:23

На ПК материнских платах с чипсетами NVidia (nForce2) и AMD проблема не воспроизводится.
Ноутбук Asus ROG GL703VD - тоже. Но там SSH и HDD подключены к разным контроллерам.
Нетбук Samsung N127 при использовании броузера Firefox и Chromium - дикие тормоза. Хотя это наблюдалось и в Rosa Fresh 2014.1.
На ПК с процессорами Intel система фризится, если жесткие диски работают на одном SATA-контроллере. И только при запущенных Firfox или Chromium. У жены проблему удалось побороть на старом E7500-процессоре установкой для дисков с Home-разделом внешнего SATA-RAID контроллера.

Аватара пользователя
mikhailnov
Сообщения: 138
Зарегистрирован: 29 авг 2015, 22:53
Operating system: Ubuntu, ROSA, FreeBSD
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение mikhailnov » 31 мар 2019, 10:51

Andreas17 писал(а):
24 мар 2019, 00:27
Это на всех ядрах так?
Говорят, что на ядрах новее 4.11, то есть начиная с 4.12.
https://www.reddit.com/r/linux/comments ... lly_works/
Но проблема есть далеко не на всех машинах, у меня на ssd все хорошо, а люди выше написали, что и с ssd проблемы.

Аватара пользователя
Andreas17
Сообщения: 336
Зарегистрирован: 21 май 2017, 20:07
Operating system: AMD Athlon II X4 640, 12 ГБ ОЗУ, NVIDIA GTX 650, РОСА Fresh R11
Откуда: Москва

Проблемы со swap на свежих ядрах

Сообщение Andreas17 » 01 апр 2019, 02:55

Ага, у меня как раз SSD. :)

Аватара пользователя
Andreas17
Сообщения: 336
Зарегистрирован: 21 май 2017, 20:07
Operating system: AMD Athlon II X4 640, 12 ГБ ОЗУ, NVIDIA GTX 650, РОСА Fresh R11
Откуда: Москва

Проблемы со swap на свежих ядрах

Сообщение Andreas17 » 02 апр 2019, 02:53

Поиздевался ещё над системой. В этот момент, когда начинаются фризы, светодиод активности диска горит не переставая.

Вообщем происходит то, что описано в этой статье:
Представьте, что у вас всего 4 ГБ оперативной памяти, из них прямо сейчас занято 3 ГБ, vm.swappiness=10, своп на жестком диске (HDD) занят на 0%, и вы открываете тяжелый сайт в браузере, для чего требуется больше, чем имеющийся свободный 1 ГБ, например, 2 ГБ. Операционная система начинает в экстренном порядке отправлять в своп как минимум 0.5 ГБ (а по факту больше), чтобы можно было выделить браузеру необходимое количество оперативной памяти. Эта процедура становится самой приоритетной задачей, и придется пожертвовать даже движениями курсора мыши, чтобы ее выполнить как можно быстрее. Вы ждете. Проходит 5 минут, и система развисает, потому что окончила процедуру 100% загрузки очереди доступа к медленному жесткому диску, на котором размещена оперативная память (своп). При дефолтном vm.swappiness=60 редко используемые страницы памяти сбрасываются в своп заблаговременно, и резкого зависания на 5-10 минут не происходит.
https://itnan.ru/post.php?c=1&p=344836

Аватара пользователя
ans
Сообщения: 2341
Зарегистрирован: 11 сен 2011, 08:42
Operating system: Rosa
Откуда: Ekaterinburg
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение ans » 02 апр 2019, 08:08

Andreas17 писал(а):
02 апр 2019, 02:53
Поиздевался ещё над системой. В этот момент, когда начинаются фризы, светодиод активности диска горит не переставая.

Вообщем происходит то, что описано в этой статье:
Представьте, что у вас всего 4 ГБ оперативной памяти, из них прямо сейчас занято 3 ГБ, vm.swappiness=10, своп на жестком диске (HDD) занят на 0%, и вы открываете тяжелый сайт в браузере, для чего требуется больше, чем имеющийся свободный 1 ГБ, например, 2 ГБ. Операционная система начинает в экстренном порядке отправлять в своп как минимум 0.5 ГБ (а по факту больше), чтобы можно было выделить браузеру необходимое количество оперативной памяти. Эта процедура становится самой приоритетной задачей, и придется пожертвовать даже движениями курсора мыши, чтобы ее выполнить как можно быстрее. Вы ждете. Проходит 5 минут, и система развисает, потому что окончила процедуру 100% загрузки очереди доступа к медленному жесткому диску, на котором размещена оперативная память (своп). При дефолтном vm.swappiness=60 редко используемые страницы памяти сбрасываются в своп заблаговременно, и резкого зависания на 5-10 минут не происходит.
https://itnan.ru/post.php?c=1&p=344836
Читал это здесь. Знакомое лицо :)
Изображение

betcher
Сообщения: 71
Зарегистрирован: 24 сен 2013, 06:37
Operating system: MagOS

Проблемы со swap на свежих ядрах

Сообщение betcher » 02 апр 2019, 09:00

В статье совершенно не правильно описано как работает swappiness. И это не имеет отношения к теме, ибо swappinnes первое что проверили.
Самый простой тест для для этого бага это tmpfs. Создаете tmpfs размером RAM + 1/2 SWAP. После чего льете туда файлы пока не заполните под завязку. Если удалось - проблемы нет. Если встало колом во время записи - проблема есть.

Аватара пользователя
Andreas17
Сообщения: 336
Зарегистрирован: 21 май 2017, 20:07
Operating system: AMD Athlon II X4 640, 12 ГБ ОЗУ, NVIDIA GTX 650, РОСА Fresh R11
Откуда: Москва

Проблемы со swap на свежих ядрах

Сообщение Andreas17 » 02 апр 2019, 15:11

Ок, проверю ещё с tmpfs.

Но тут что-то ещё с контроллером SATA. Или его драйвером. Выше писали, что на стареньких nForce 2 проблем нет. Наверняка они без поддержки AHCI.
У меня уже более новый контроллер на nForce 750. Режим AHCI имеется и активирован.
Но всё равно, это ж как надо умудриться так копировать данные из RAM на SSD, чтобы подвесить всю систему? :crazy:

Да пусть там хоть терабайт из памяти переносится, не должно такого быть!

Аватара пользователя
Andreas17
Сообщения: 336
Зарегистрирован: 21 май 2017, 20:07
Operating system: AMD Athlon II X4 640, 12 ГБ ОЗУ, NVIDIA GTX 650, РОСА Fresh R11
Откуда: Москва

Проблемы со swap на свежих ядрах

Сообщение Andreas17 » 02 апр 2019, 16:05

Создал рам-диск так:

Код: Выделить всё

# mount -t tmpfs -o size=10300M tmpfs /mnt/tmpfs/
Начал заливать на него образы дисков от VBox по 1.5 гектара. Системный монитор молчит. Пришлось грузить htop.
Где-то на половине заполнения оперативы начало свопиться. В этот момент заметил небольшие фризы. Пока не заполнился весь его раздел (1.8 ГиБ).
Потом продолжила заполняться оперативка.

Тогда решил попробовать одним большим файлом. Создал на 10 гектар:

Код: Выделить всё

# dd if=/dev/urandom of=~/testfile bs=10M count=1000
Пока создавался, словил не хилые фризы. Что как-бы намекает... :roll:

Копирую. Файл не свопится. И только, когда рамка заканчивается, начинает расходоваться своп. С такими же жуткими фризами, как в тестах с утилитой stress.

П.С. Файловая система может влиять? У меня btrfs.

Аватара пользователя
mikhailnov
Сообщения: 138
Зарегистрирован: 29 авг 2015, 22:53
Operating system: Ubuntu, ROSA, FreeBSD
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение mikhailnov » 02 апр 2019, 17:03

betcher писал(а):
02 апр 2019, 09:00
В статье совершенно не правильно описано как работает swappiness. И это не имеет отношения к теме, ибо swappinnes первое что проверили.
Да, в комментариях к статье поправили.
Andreas17 писал(а):
02 апр 2019, 15:11
Но тут что-то ещё с контроллером SATA. Или его драйвером. Выше писали, что на стареньких nForce 2 проблем нет. Наверняка они без поддержки AHCI.
На современных SSD и HDD тоже норм у кого-то, а у кого-то проблемы. Я выше еще давал ссылку, где такая проблема массово у людей с планшетами с emmc памятью.
Andreas17 писал(а):
02 апр 2019, 15:11
Но всё равно, это ж как надо умудриться так копировать данные из RAM на SSD, чтобы подвесить всю систему?
Суть в том, что для воспрозведения проблемы достаточно заполнить своп хотя бы немного. Любыми средствами.
Andreas17 писал(а):
02 апр 2019, 16:05
П.С. Файловая система может влиять? У меня btrfs.
У меня тоже btrfs, и проблем нет. На описанном выше не моем ноутбуке с проблемой тоже btrfs :)

Аватара пользователя
Andreas17
Сообщения: 336
Зарегистрирован: 21 май 2017, 20:07
Operating system: AMD Athlon II X4 640, 12 ГБ ОЗУ, NVIDIA GTX 650, РОСА Fresh R11
Откуда: Москва

Проблемы со swap на свежих ядрах

Сообщение Andreas17 » 03 апр 2019, 05:30

Попробовал на ядре 4.9.155 утилитой stress. Фризы тоже есть, но они длятся буквально несколько секунд и тут же проходят.

Тут выяснилась другая неприятная вещь. Оказывается у меня все большие файлы копируются с фризам интерфейса. Тормозит даже браузер, вкладки открываются с задержкой. При это kwin_x11 кушает до 20-25% и plasmashell до 10-15% CPU. :(

Аватара пользователя
vladi105
Сообщения: 117
Зарегистрирован: 09 ноя 2016, 16:35
Operating system: ROSA Fresh R11 XFCE
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение vladi105 » 03 апр 2019, 09:35

Andreas17 писал(а):
03 апр 2019, 05:30
Попробовал на ядре 4.9.155 утилитой stress. Фризы тоже есть, но они длятся буквально несколько секунд и тут же проходят.

Тут выяснилась другая неприятная вещь. Оказывается у меня все большие файлы копируются с фризам интерфейса. Тормозит даже браузер, вкладки открываются с задержкой. При это kwin_x11 кушает до 20-25% и plasmashell до 10-15% CPU. :(
Тормоза при копировании больших файлов в среде KDE4,KDE5 были всегда....проблема в среде

Аватара пользователя
Andreas17
Сообщения: 336
Зарегистрирован: 21 май 2017, 20:07
Operating system: AMD Athlon II X4 640, 12 ГБ ОЗУ, NVIDIA GTX 650, РОСА Fresh R11
Откуда: Москва

Проблемы со swap на свежих ядрах

Сообщение Andreas17 » 03 апр 2019, 14:46

vladi105, значит файловую систему менять не имеет смысла? А то подумал, что может btrfs слишком ресурсоёмкая. А как в Гноме и LXQt?

Аватара пользователя
vladi105
Сообщения: 117
Зарегистрирован: 09 ноя 2016, 16:35
Operating system: ROSA Fresh R11 XFCE
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение vladi105 » 03 апр 2019, 15:37

Andreas17 писал(а):
03 апр 2019, 14:46
vladi105, значит файловую систему менять не имеет смысла? А то подумал, что может btrfs слишком ресурсоёмкая. А как в Гноме и LXQt?
Да,нет смысла. В Гноме и Крыске нет этой проблемы,про другие DE не знаю....

Аватара пользователя
Andreas17
Сообщения: 336
Зарегистрирован: 21 май 2017, 20:07
Operating system: AMD Athlon II X4 640, 12 ГБ ОЗУ, NVIDIA GTX 650, РОСА Fresh R11
Откуда: Москва

Проблемы со swap на свежих ядрах

Сообщение Andreas17 » 03 апр 2019, 21:14

Ок, проверю ещё на другой оболочке.

Но вот тут гуглил и наткнулся на одну статью:
На самом деле 12309 — это не один, а несколько багов, смешанных в кучу. Можно выделить следующие случаи появления:

при копировании больших объемов данных с диска на диск (или с раздела на раздел одного диска);
при нехватке ОЗУ (и, соответственно, диком своппинге);
при копировании на USB-девайсы;
при использовании зашифрованных разделов;
Автор советует провести проверку:
Сначала тест: восприимчива ли ваша система к 12309? введите в терминале:

dd if=/dev/zero of=/tmp/test bs=1M count=1M

и понаблюдайте за отзывчивостью системы. Если всё по-прежнему быстро - то читать статью можно разве что для профилактики и расширения кругозора.
https://linuxoidblog.blogspot.com/2015/06/12309.html

У меня жуткие лаги. :(

Аватара пользователя
Andreas17
Сообщения: 336
Зарегистрирован: 21 май 2017, 20:07
Operating system: AMD Athlon II X4 640, 12 ГБ ОЗУ, NVIDIA GTX 650, РОСА Fresh R11
Откуда: Москва

Проблемы со swap на свежих ядрах

Сообщение Andreas17 » 08 апр 2019, 14:22

Из всего перечисленного автором статьи помогло выставить переменных dirty_bytes и dirty_background_bytes в 16 МБ.
Полностью фризы не пропали, но теперь хотя бы система не встаёт колом, когда копируется большой файл.

П.С. На своп не повлияло, как глючил, так и глючит.

Аватара пользователя
mikhailnov
Сообщения: 138
Зарегистрирован: 29 авг 2015, 22:53
Operating system: Ubuntu, ROSA, FreeBSD
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение mikhailnov » 10 апр 2019, 12:10

Andreas17 писал(а):
03 апр 2019, 14:46
vladi105, значит файловую систему менять не имеет смысла? А то подумал, что может btrfs слишком ресурсоёмкая. А как в Гноме и LXQt?
Дело не в DE, а в файловом менеджере. Запустите какой-нибудь Nautilus в KDE, все хорошо будет. Но обычно проблемы при записи на NTFS и прочие ФС через fuse.

Аватара пользователя
Andreas17
Сообщения: 336
Зарегистрирован: 21 май 2017, 20:07
Operating system: AMD Athlon II X4 640, 12 ГБ ОЗУ, NVIDIA GTX 650, РОСА Fresh R11
Откуда: Москва

Проблемы со swap на свежих ядрах

Сообщение Andreas17 » 10 апр 2019, 17:02

При копировании утилитой cp было тоже самое. :(

Аватара пользователя
Yamah
Сообщения: 1355
Зарегистрирован: 04 май 2012, 06:30
Operating system: Десктоп (дом): Rosa Fresh R8.1, Rosa Fresh R10
Десктоп (работа): Rosa Fresh R8.1/Rosa Fresh R10
Сервер (работа): Rosa Enterprise Linux Sercver 6.7
Нетбук: Rosa Fresh R10
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение Yamah » 11 апр 2019, 07:14

vladi105 писал(а):
03 апр 2019, 09:35
Тормоза при копировании больших файлов в среде KDE4,KDE5 были всегда....проблема в среде
А если тормоза вылезают при выключенных Иксах, то тоже KDE виновата? xD

sery_volk_inc
Сообщения: 6
Зарегистрирован: 13 июл 2019, 16:36
Operating system: ROSA Desktop Fresh R11 Plasma 5

Проблемы со swap на свежих ядрах

Сообщение sery_volk_inc » 13 июл 2019, 16:44

Та же проблема сейчас на R11 с установленными обновлениями. Мать P5KC с чипсетом Intel® P35 если это имеет значение.
Выглядит так: при загрузке памяти порядка 90% начинает активно работать диск, при этом иксы либо жесточайше тормозят, либо совсем виснут на какое-то время. Памяти 6Гб, своп 6Гб. Своп при этом бывает занят процентов на 10-20, не больше.
Эксперименты не проводил специально, проблема наблюдается при банальном запуске требовательных приложений типа Android Studio+обычный набор, или печати PDF на пару сот страниц в WPSOffice. Работать, в общем, невозможно...

ilfat
Сообщения: 28
Зарегистрирован: 15 фев 2016, 13:33
Operating system: ROSA Linux

Проблемы со swap на свежих ядрах

Сообщение ilfat » 14 июл 2019, 00:06

sery_volk_inc писал(а):
13 июл 2019, 16:44
невозможно
Да уж... Жмите пару раз Alt+SysReq+F, убьет без церемоний пару прожорливых процессов. Очень помогает.
Со вчерашнего дня на 4.19, до этого было 4.9. Уже сегодня ощутил всю "прелесть" этого апгрейда.
На днях проверял Федору с ядром 5.1, баг на месте. Я конечно ещё надеюсь, но с каждым релизом это становится сложнее.

sery_volk_inc
Сообщения: 6
Зарегистрирован: 13 июл 2019, 16:36
Operating system: ROSA Desktop Fresh R11 Plasma 5

Проблемы со swap на свежих ядрах

Сообщение sery_volk_inc » 14 июл 2019, 10:31

ilfat писал(а):
14 июл 2019, 00:06
Alt+SysReq+F, убьет без церемоний пару прожорливых процессов.
В первую очередь тот, в котором я в данный момент работаю. Со всеми его данными :(
И еще кстати, когда оболочку клинит, у меня Alt+SysReq+F помогает с огромной задержкой - минут в пять. Иначе говоря, не помогает.

Дополнительные наблюдения: зависание случается даже при отключенном swap. Как бы теперь узнать, что оно там так усиленно делает с винтом.

Аватара пользователя
mikhailnov
Сообщения: 138
Зарегистрирован: 29 авг 2015, 22:53
Operating system: Ubuntu, ROSA, FreeBSD
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение mikhailnov » 14 июл 2019, 13:58

sery_volk_inc писал(а):
14 июл 2019, 10:31
Как бы теперь узнать, что оно там так усиленно делает с винтом.
https://habr.com/ru/post/344836/#comment_10576482

sery_volk_inc
Сообщения: 6
Зарегистрирован: 13 июл 2019, 16:36
Operating system: ROSA Desktop Fresh R11 Plasma 5

Проблемы со swap на свежих ядрах

Сообщение sery_volk_inc » 14 июл 2019, 18:57

Форменное безобразие. Проблема, я так понимаю, в ядре. И разработчики наверное должны быть в курсе?

Аватара пользователя
mikhailnov
Сообщения: 138
Зарегистрирован: 29 авг 2015, 22:53
Operating system: Ubuntu, ROSA, FreeBSD
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение mikhailnov » 14 июл 2019, 19:33

sery_volk_inc писал(а):
14 июл 2019, 18:57
Форменное безобразие. Проблема, я так понимаю, в ядре. И разработчики наверное должны быть в курсе?
Это не безобразие, а так и задумано. На Windows в условии нехватки памяти у вас намертво зависнет одна конкретная программа, а на линуксе ни одна программа не зависнет, система будет пытаться вытянуть все программы любой ценой, но может создастся впечатление зависания всей системы, и она реально может почти зависнуть в зависимости от тяжести проблемы. Предложите разработчикам ядра другой механизм.

sery_volk_inc
Сообщения: 6
Зарегистрирован: 13 июл 2019, 16:36
Operating system: ROSA Desktop Fresh R11 Plasma 5

Проблемы со swap на свежих ядрах

Сообщение sery_volk_inc » 14 июл 2019, 20:48

mikhailnov писал(а):
14 июл 2019, 19:33
На Windows <..>, а на линуксе ни одна программа не зависнет<...>
Перепрыгивая бессмысленное обсуждение философских вопросов хочется перейти собственно к главному: ROSA - Desktop, а значит, ее задача - выполнять процессы переднего плана в реальном времени. Подобное "независание" (которое называется критической задержкой в обслуживании) - серьезный трабл, и думать, что с ним делать должны разработчики. А не я. :wink:

Аватара пользователя
mikhailnov
Сообщения: 138
Зарегистрирован: 29 авг 2015, 22:53
Operating system: Ubuntu, ROSA, FreeBSD
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение mikhailnov » 14 июл 2019, 20:57

sery_volk_inc писал(а):
14 июл 2019, 20:48
Перепрыгивая бессмысленное обсуждение философских вопросов хочется перейти собственно к главному: ROSA - Desktop, а значит, ее задача - выполнять процессы переднего плана в реальном времени. Подобное "независание" (которое называется критической задержкой в обслуживании) - серьезный трабл, и думать, что с ним делать должны разработчики. А не я. :wink:
Когда у вас намертво зависнет программа, в которой был сделана и не сохранена работа, по-другому будете говорить ;)

Аватара пользователя
mikhailnov
Сообщения: 138
Зарегистрирован: 29 авг 2015, 22:53
Operating system: Ubuntu, ROSA, FreeBSD
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение mikhailnov » 14 июл 2019, 20:59

Трабл есть, что с ним делать, многие думают, пока не придумали.

betcher
Сообщения: 71
Зарегистрирован: 24 сен 2013, 06:37
Operating system: MagOS

Проблемы со swap на свежих ядрах

Сообщение betcher » 15 июл 2019, 06:09


Survolog
Сообщения: 233
Зарегистрирован: 30 авг 2016, 22:30
Operating system: ROSA Fresh

Проблемы со swap на свежих ядрах

Сообщение Survolog » 16 июл 2019, 22:59

sery_volk_inc писал(а):
13 июл 2019, 16:44
при банальном запуске требовательных приложений типа Android Studio+обычный набор, или печати PDF на пару сот страниц в WPSOffice
sery_volk_inc писал(а):
14 июл 2019, 20:48
серьезный трабл, и думать, что с ним делать должны разработчики. А не я. :wink:
Вообще-то как раз вы.
В репозитории нет таких программ. Накачали с интернета левизны. Понятное дело, что оно не работает, вы ничего не делали, оно само... :D

Аватара пользователя
mikhailnov
Сообщения: 138
Зарегистрирован: 29 авг 2015, 22:53
Operating system: Ubuntu, ROSA, FreeBSD
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение mikhailnov » 24 июл 2019, 19:21

betcher писал(а):
15 июл 2019, 06:09
https://bugzilla.kernel.org/show_bug.cgi?id=196729
Похоже он.
Что-то и в этой теме, и в багах https://bugzilla.kernel.org/show_bug.cgi?id=196729 и https://bugzilla.kernel.org/show_bug.cgi?id=199763 подозрительно много людей с btrfs. Есть у кого-нибудь эта проблема на системах, где нет вообще ничего на btrfs?

ilfat
Сообщения: 28
Зарегистрирован: 15 фев 2016, 13:33
Operating system: ROSA Linux

Проблемы со swap на свежих ядрах

Сообщение ilfat » 24 июл 2019, 21:20

mikhailnov писал(а):
24 июл 2019, 19:21
кого
У меня на системах без Btrfs то же самое. Думаю нет с ней связи.

Аватара пользователя
mikhailnov
Сообщения: 138
Зарегистрирован: 29 авг 2015, 22:53
Operating system: Ubuntu, ROSA, FreeBSD
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение mikhailnov » 24 июл 2019, 22:42

ilfat писал(а):
24 июл 2019, 21:20
mikhailnov писал(а):
24 июл 2019, 19:21
кого
У меня на системах без Btrfs то же самое. Думаю нет с ней связи.
А какая конфигурация дисков и свопов? Какие ФС, как подключены диски и т.д.

Аватара пользователя
mikhailnov
Сообщения: 138
Зарегистрирован: 29 авг 2015, 22:53
Operating system: Ubuntu, ROSA, FreeBSD
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение mikhailnov » 24 июл 2019, 23:23

Еще мысль. У кого это воспроизводится, попробуйте приведенным мною выше способом с помощью stress или в принципе любым другим способом подвести систему к подвисаниям и записать происходящее в выводе iotop, желательно скринкастом, записывая с другого устройства по ssh. Параллельно желательно записать htop. Может быть, посмотрев их показания в динамике, увидим что-нибудь, за что можно зацепиться.

ilfat
Сообщения: 28
Зарегистрирован: 15 фев 2016, 13:33
Operating system: ROSA Linux

Проблемы со swap на свежих ядрах

Сообщение ilfat » 25 июл 2019, 19:31

mikhailnov писал(а):
24 июл 2019, 22:42
А какая конфигурация дисков и свопов? Какие ФС, как подключены диски и т.д.
HDD SATA2 с разметкой GPT. Раздел биос_граб, efi, своп 4 гига, бтрфс, ехт4. Проц АМД.
Другой комп виндовый, SATA2, MBR, но есть второй хард (IDE) со своп разделом, гружусь с флешки. Проц Интел. Ноут с НТФС на SSD, гружусь тоже с флешки, в качестве свопа файл на НТФС. Проц тоже Интел. На первых двух память DDR2, на последнем DDR3. Везде ступор при заполнении ОЗУ при свободном свопе.

ilfat
Сообщения: 28
Зарегистрирован: 15 фев 2016, 13:33
Operating system: ROSA Linux

Проблемы со swap на свежих ядрах

Сообщение ilfat » 25 июл 2019, 19:33

mikhailnov писал(а):
24 июл 2019, 23:23
и записать происходящее в выводе iotop, желательно скринкастом, записывая с другого устройства по ssh. Параллельно желательно записать htop.
Там такой глухой ступор, даже не знаю как такое провернуть. Но попробовать конечно стоит.

Аватара пользователя
mikhailnov
Сообщения: 138
Зарегистрирован: 29 авг 2015, 22:53
Operating system: Ubuntu, ROSA, FreeBSD
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение mikhailnov » 25 июл 2019, 20:14

ilfat писал(а):
25 июл 2019, 19:33
mikhailnov писал(а):
24 июл 2019, 23:23
и записать происходящее в выводе iotop, желательно скринкастом, записывая с другого устройства по ssh. Параллельно желательно записать htop.
Там такой глухой ступор, даже не знаю как такое провернуть. Но попробовать конечно стоит.
Может, через nice изменить приоритет процессов htop, iotop
ilfat писал(а):
25 июл 2019, 19:31
mikhailnov писал(а):
24 июл 2019, 22:42
А какая конфигурация дисков и свопов? Какие ФС, как подключены диски и т.д.
HDD SATA2 с разметкой GPT. Раздел биос_граб, efi, своп 4 гига, бтрфс, ехт4. Проц АМД.
Другой комп виндовый, SATA2, MBR, но есть второй хард (IDE) со своп разделом, гружусь с флешки. Проц Интел. Ноут с НТФС на SSD, гружусь тоже с флешки, в качестве свопа файл на НТФС. Проц тоже Интел. На первых двух память DDR2, на последнем DDR3. Везде ступор при заполнении ОЗУ при свободном свопе.
Своп-файл на ntfs? Мсье знает толк.
На первом компе все же есть btrfs, а на втором какие линуксовые фс, не на ntfs же система?

ilfat
Сообщения: 28
Зарегистрирован: 15 фев 2016, 13:33
Operating system: ROSA Linux

Проблемы со swap на свежих ядрах

Сообщение ilfat » 25 июл 2019, 22:01

mikhailnov писал(а):
25 июл 2019, 20:14
Своп-файл на ntfs? Мсье знает толк
Там чисто виндовая машина, а гружусь с флешки, используется виндовый своп pagefile.sys. К тому же это было больше для тестов свопинга.
mikhailnov писал(а):
25 июл 2019, 20:14
На первом компе все же есть btrfs, а на втором какие линуксовые фс, не на ntfs же система?
На втором тоже с флешки гружусь. btrfs только на первом ПК. Флешка на нтфс. На ней МагОС.
Я не вижу связи с btrfs. Проблема воспроизводится даже там, где в принципе нет линуксовых ФС (не считая squashfs).
На полноценно установленных на бтрфс Арче и Федоре то же самое. На Дебиан 10 на ехт4 тоже.
На днях собирал ядро 5.3 без WBT, но это тоже не помогло.

Аватара пользователя
mikhailnov
Сообщения: 138
Зарегистрирован: 29 авг 2015, 22:53
Operating system: Ubuntu, ROSA, FreeBSD
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение mikhailnov » 26 июл 2019, 16:01

ilfat писал(а):
25 июл 2019, 22:01
На втором тоже с флешки гружусь. btrfs только на первом ПК. Флешка на нтфс. На ней МагОС.
Я не вижу связи с btrfs. Проблема воспроизводится даже там, где в принципе нет линуксовых ФС (не считая squashfs).
На полноценно установленных на бтрфс Арче и Федоре то же самое. На Дебиан 10 на ехт4 тоже.
А вот это все на одном и том же железе или на разном? Если на разном, то найди бы что-то общее, например, контроллер SATA что ли.
Просто сейчас вообще не понятно, за что зацепиться.

euspectre
Сообщения: 1104
Зарегистрирован: 21 дек 2012, 15:24
Operating system: Linux в разных вариантах

Проблемы со swap на свежих ядрах

Сообщение euspectre » 26 июл 2019, 17:48

Никто не пробовал в момент зависания crash'нуть ядро принудительно?

alt-sysrq-c.

Можно включить kdump (инструкции для ROSA: http://wiki.rosalab.ru/ru/index.php/%D0 ... exec/kdump, для других дистрибутивов свои инструкции есть), попробовать воспроизвести баг, если воспроизведётся - crash'нуть ядро. Если повезёт и система при этом сохранит дамп памяти, можно будет его проанализировать и поразбираться, что именно висит и на чём.

Можно будет и разработчикам соотв. компонентов ядра потом эти данные передать - больше шанс, что починят.

Аватара пользователя
Barmalei
Сообщения: 4817
Зарегистрирован: 29 дек 2014, 15:45
Operating system: Intel Pentium 2020M / 6 Gb RAM / AMD GRadeon HD 8570 / Rosa Fresh R11 KDE4 2016.1 x64

Проблемы со swap на свежих ядрах

Сообщение Barmalei » 26 июл 2019, 19:38

Я попробовал на стандартном в репах ядре 4.15 загрузить в Гимп фоток столько пока не забьется память и начнет своп заполняться. Ничего не повисло, только когда начал своп заполнятся фотки медленней стали в Гимп открываться.

ilfat
Сообщения: 28
Зарегистрирован: 15 фев 2016, 13:33
Operating system: ROSA Linux

Проблемы со swap на свежих ядрах

Сообщение ilfat » 26 июл 2019, 21:41

mikhailnov писал(а):
26 июл 2019, 16:01
А вот это все на одном и том же железе или на разном? Если на разном, то найди бы что-то общее, например, контроллер SATA что ли.
Просто сейчас вообще не понятно, за что зацепиться.
3 разных ПК. У двух точно SATA2, у ноута вроде SATA3, в биосе по крайней мере можно выбрать GEN 3, но с ним Винда не грузится, а на Линуксе как-то очень медленно работает. Я до конца не понял что за GEN 3 и почему он так плохо работает. Так что наверное тоже SATA2. Тем не менее у нас Михаил воспроизводил баг на i7 c 8 гигами ОЗУ. Более чем уверен, что у него не SATA2.
За что зацепиться не знаю даже. Процы разные, носители разные, ФС разные. Контроллеры SATA тоже разные получается.

Аватара пользователя
mikhailnov
Сообщения: 138
Зарегистрирован: 29 авг 2015, 22:53
Operating system: Ubuntu, ROSA, FreeBSD
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение mikhailnov » 27 июл 2019, 14:48

В магос случайно не 100% воспроизводимость бага на любом железе?

ilfat
Сообщения: 28
Зарегистрирован: 15 фев 2016, 13:33
Operating system: ROSA Linux

Проблемы со swap на свежих ядрах

Сообщение ilfat » 30 июл 2019, 10:01

mikhailnov писал(а):
27 июл 2019, 14:48
В магос случайно не 100% воспроизводимость бага на любом железе?
У меня и на Арче и на Федоре воспроизводилось. Возможно в МагОС более выраженное проявление, так как нагрузка на проц усугбляется тем, что во время зависания, вследствии постоянного сброса кэша из-за нехватки ОЗУ и соответственно постоянного чтения данных из squshfs нужно эти данные еще и разжимать.
Есть установленная Роса. Доводил ее до такого состояния, система практически не отвечала на мои действия, но что удивительно мышь не особо подтормаживала. В конечном итоге через продолжительное время (не менее 15 минут) лишнее ушло в своп. Однако это нельзя считать нормальным поведением. На ядре 4.9 МагОС или не МагОС данные на ура улетают в своп, да еще и во время самого свопинга можно работать в других приложениях.
Попробую с Росы снять крэш-дамп, как описано чуть выше. Может что и прояснится.

Аватара пользователя
ans
Сообщения: 2341
Зарегистрирован: 11 сен 2011, 08:42
Operating system: Rosa
Откуда: Ekaterinburg
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение ans » 01 авг 2019, 11:38

Barmalei писал(а):
26 июл 2019, 19:38
Я попробовал на стандартном в репах ядре 4.15 загрузить в Гимп фоток столько пока не забьется память и начнет своп заполняться. Ничего не повисло, только когда начал своп заполнятся фотки медленней стали в Гимп открываться.
Но если к этому запустить виртуалбокс, то всё. Он гораздо агрессивннее.
Изображение

sery_volk_inc
Сообщения: 6
Зарегистрирован: 13 июл 2019, 16:36
Operating system: ROSA Desktop Fresh R11 Plasma 5

Проблемы со swap на свежих ядрах

Сообщение sery_volk_inc » 06 авг 2019, 09:20

Survolog писал(а):
16 июл 2019, 22:59
sery_volk_inc писал(а):
13 июл 2019, 16:44
Android Studio... WPSOffice
Накачали с интернета левизны. Понятное дело, что оно не работает, вы ничего не делали, оно само... :D
Дело конечно не в этом :) масса тестов, проведенных людьми в этой теме подтверждают, что проблема есть. Необязательно мне повторять все то же самое еще раз.

Аватара пользователя
Yamah
Сообщения: 1355
Зарегистрирован: 04 май 2012, 06:30
Operating system: Десктоп (дом): Rosa Fresh R8.1, Rosa Fresh R10
Десктоп (работа): Rosa Fresh R8.1/Rosa Fresh R10
Сервер (работа): Rosa Enterprise Linux Sercver 6.7
Нетбук: Rosa Fresh R10
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение Yamah » 21 авг 2019, 19:25

euspectre писал(а):
26 июл 2019, 17:48
Никто не пробовал в момент зависания crash'нуть ядро принудительно?

alt-sysrq-c.

Можно включить kdump (инструкции для ROSA: http://wiki.rosalab.ru/ru/index.php/%D0 ... exec/kdump, для других дистрибутивов свои инструкции есть), попробовать воспроизвести баг, если воспроизведётся - crash'нуть ядро. Если повезёт и система при этом сохранит дамп памяти, можно будет его проанализировать и поразбираться, что именно висит и на чём.

Можно будет и разработчикам соотв. компонентов ядра потом эти данные передать - больше шанс, что починят.
Я на десктопе оперативы добавил до 24 ГБ. И теперь имею проблему, чем загрузить ее больше, чем на 16GB. :D
Глюка с зависаниями больше нет. :)

Аватара пользователя
ans
Сообщения: 2341
Зарегистрирован: 11 сен 2011, 08:42
Operating system: Rosa
Откуда: Ekaterinburg
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение ans » 21 авг 2019, 19:49

Yamah писал(а):
21 авг 2019, 19:25
Я на десктопе оперативы добавил до 24 ГБ. И теперь имею проблему, чем загрузить ее больше, чем на 16GB. :D
Глюка с зависаниями больше нет. :)
Похоже всё к этому идёт - добавил памяти и нет проблем. И своп не нужен.
Но на некоторых компьютерах(ноутбуках) максимум 4 Гб, им пока без свопа никак.
Изображение

Аватара пользователя
Yamah
Сообщения: 1355
Зарегистрирован: 04 май 2012, 06:30
Operating system: Десктоп (дом): Rosa Fresh R8.1, Rosa Fresh R10
Десктоп (работа): Rosa Fresh R8.1/Rosa Fresh R10
Сервер (работа): Rosa Enterprise Linux Sercver 6.7
Нетбук: Rosa Fresh R10
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение Yamah » 22 авг 2019, 06:15

ans писал(а):
21 авг 2019, 19:49
Похоже всё к этому идёт - добавил памяти и нет проблем. И своп не нужен.
Но на некоторых компьютерах(ноутбуках) максимум 4 Гб, им пока без свопа никак.
Да знаю я это.
Что характерно, на Samsung N127 с процессором Atom N270 и 2 GB ОЗУ на i586-архитектуре зависаний нет.

На работе система x86_64 виснет, если в броузере открыто много вкладок. Firefox люто ругается в консоль на ошибки с java, а через некоторое время система встает колом.

Попробую настроить снятие дампа.

Аватара пользователя
ans
Сообщения: 2341
Зарегистрирован: 11 сен 2011, 08:42
Operating system: Rosa
Откуда: Ekaterinburg
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение ans » 31 авг 2019, 07:33

mikhailnov писал(а):
22 мар 2019, 11:38
А есть эта проблема у кого-нибудь, у кого своп на SSD, а не HDD?
Два дня назад купил себе SSD WD120 Гб за 1600р. (меньше по объёму не было)
Сделал первым загрузочным диском, все разделы BTRFS, своп в виде файла, старый HDD сделал вторым.
Никаких дополнительных настроек SSD по советам из инета не делал.
Ноутбук: PB EasyNote TS11HR (Процессор I5, память 8 Гб, Ядро 5.2)

Код: Выделить всё

hdparm -tT /dev/sda

/dev/sda:
 Timing cached reads:   7246 MB in  2.00 seconds = 3629.61 MB/sec
 Timing buffered disk reads: 1402 MB in  3.00 seconds = 466.94 MB/sec
Проверил работу свопа нагрузкой при помощи Гимпа + виртуалбокс ().
Своп заполняется, система не виснет, но притормаживает судя по тому как создавались гимп-проекты.

Попробовал для интереса ZSWAP. И вот тогда явно увидел как эта технология работает :good:
Через Гимп создал 15 тяжёлых проектов, потом запустил виртуалбокс - работает!, хотя с притормаживанием, процессор не справляется (раньше, после этого система вообще вставала колом), потом в мозилле открыл 20 вкладок - всё работает.
Ещё запустил яндексбраузер, открыл в нём штук 10 вкладок с ютуба - работает, так и не смог систему заставить встать колом. Дальше не стал издеваться - побоялся перегрева.

Screenshot_20190831_105002.png
А уже думал ноутбук менять... почти 10 лет работает :)
Сейчас можно спокойно заниматься делом, не оглядываясь на то, хватает памяти или нет...

P.S. ZSWAP с параметрами: zswap.enabled=1 zswap.compressor=lz4 zswap.max_pool_percent=50 zswap.zpool=zsmalloc
Изображение

Аватара пользователя
mikhailnov
Сообщения: 138
Зарегистрирован: 29 авг 2015, 22:53
Operating system: Ubuntu, ROSA, FreeBSD
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение mikhailnov » 03 сен 2019, 23:04

В баге https://bugzilla.rosalinux.ru/show_bug.cgi?id=10122 есть ссылки на сборки ядра 4.15.0-60

В него добавлен патч le9h.patch из https://gist.github.com/constantoverrid ... 2111a20830 , однако добавляемое патчем поведение отключено по умолчанию. Для включения нужно поставить

Код: Выделить всё

sysctl vm.unevictable_activefile_kbytes=65536
(по умолчанию =0, откуда взялось число 65536 и как попробовать подобрать свое значение, читайте по ссылке и в описании патча: https://abf.io/import/kernel-desktop-4. ... atch#lc-64

Можете попробовать включить vm.unevictable_activefile_kbytes=65536, попробовать со свопом и без, с zram + своп на диске, с только zram.

Ильфат очень много разных вариантов тестировал, за что ему спасибо, сейчас есть предположение, что ядро 4.15.0-60 по сравнению с 4.15.0-54 и без vm.unevictable_activefile_kbytes>0 лучше работает с нехваткой памяти.

Я сейчас лучше не буду своими словами описывать суть патча, т.к. некоторые нюансы не до конца понятны, кому интересно - посмотрите код ядра, почитайте описание патча и https://www.kernel.org/doc/html/latest/ ... e-lru.html и примерно поймете.

ilfat
Сообщения: 28
Зарегистрирован: 15 фев 2016, 13:33
Operating system: ROSA Linux

Проблемы со swap на свежих ядрах

Сообщение ilfat » 05 сен 2019, 15:02

Моя проблема ушла на ядрах 4.15.0-60 и 4.19.67. Свопит отлично. Переполнения ОЗУ нет.

Аватара пользователя
ans
Сообщения: 2341
Зарегистрирован: 11 сен 2011, 08:42
Operating system: Rosa
Откуда: Ekaterinburg
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение ans » 06 сен 2019, 06:00

Попробовал ядро 4.15.0-60.
При заполнении ОЗУ встаёт колом, но может у меня из-за того, что Swap в виде файла созданного в ядре 5.2 на btrfs
Изображение

ilfat
Сообщения: 28
Зарегистрирован: 15 фев 2016, 13:33
Operating system: ROSA Linux

Проблемы со swap на свежих ядрах

Сообщение ilfat » 06 сен 2019, 10:37

ans писал(а):
06 сен 2019, 06:00
но может у меня из-за того, что Swap в виде файла созданного в ядре 5.2 на btrfs
Своп файл на btrfs поддерживается только с ядра 5.0. Не думаю, что хорошая идея использовать такой своп на ядре 4.15.
Попробуйте создать своп файл на другой ФС, если таковой нет, то подключайте своп файл как loop девайс.

Аватара пользователя
ans
Сообщения: 2341
Зарегистрирован: 11 сен 2011, 08:42
Operating system: Rosa
Откуда: Ekaterinburg
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение ans » 06 сен 2019, 17:28

ilfat писал(а):
06 сен 2019, 10:37
Попробуйте создать своп файл на другой ФС, если таковой нет, то подключайте своп файл как loop девайс.
Попробовал на другом ноутбуке, свопится, колом не встаёт. Пробовал через ZSWAP, субъективно лучше.
Мне после SSD, всё другое кажется медленно... :)
Изображение

Аватара пользователя
Andreas17
Сообщения: 336
Зарегистрирован: 21 май 2017, 20:07
Operating system: AMD Athlon II X4 640, 12 ГБ ОЗУ, NVIDIA GTX 650, РОСА Fresh R11
Откуда: Москва

Проблемы со swap на свежих ядрах

Сообщение Andreas17 » 12 сен 2019, 00:05

Мне к сожалению ядро 4.15.0-desktop-60.7rosa-x86_64 с этой опцией не помогло.
Похоже словил классический 12309, потому что даже крупные файлы копируются с фризами и лагами.
А если запустить несколько виртуалок и тут вдруг закончится оперативка, то хоть вешайся! :crazy:

Аватара пользователя
mikhailnov
Сообщения: 138
Зарегистрирован: 29 авг 2015, 22:53
Operating system: Ubuntu, ROSA, FreeBSD
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение mikhailnov » 12 сен 2019, 00:37

Andreas17 писал(а):
12 сен 2019, 00:05
Мне к сожалению ядро 4.15.0-desktop-60.7rosa-x86_64 с этой опцией не помогло.
Похоже словил классический 12309, потому что даже крупные файлы копируются с фризами и лагами.
А если запустить несколько виртуалок и тут вдруг закончится оперативка, то хоть вешайся! :crazy:
Попробуйте ядро 62.3
https://abf.io/build_lists/3094260
https://abf.io/build_lists/3094261
в него, помимо описанного выше, добавлены патчи из ChromiumOS (https://abf.io/mikhailnov/kernel-deskto ... hset.patch), которые немного меняют поведение в т.ч. при нехватке памяти.
От "классического 12309" вряд ли поможет, конечно.

Вообще ко всем призыв протестировать ядро с этим патчем.

Аватара пользователя
Andreas17
Сообщения: 336
Зарегистрирован: 21 май 2017, 20:07
Operating system: AMD Athlon II X4 640, 12 ГБ ОЗУ, NVIDIA GTX 650, РОСА Fresh R11
Откуда: Москва

Проблемы со swap на свежих ядрах

Сообщение Andreas17 » 12 сен 2019, 20:42

mikhailnov, к сожалению на ядре 4.15.0-desktop-62.3rosa-x86_64 тоже самое.
Почему-то свопиться начинает тогда, когда оперативка забита под завязку. Хотя vm.swappiness = 60.
Пробовал ставить 30 (как советую на некоторых сайтах), но это ничего не дало. :(

Аватара пользователя
ans
Сообщения: 2341
Зарегистрирован: 11 сен 2011, 08:42
Operating system: Rosa
Откуда: Ekaterinburg
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение ans » 12 сен 2019, 21:07

Andreas17 писал(а):
12 сен 2019, 20:42
Пробовал ставить 30 (как советую на некоторых сайтах), но это ничего не дало. :(
Зачем? Сколько оперативки и какого размера своп?
Если оперативка и своп одного размера, то значение 60 правильно. Своп должен заполняться, когда остаётся 60% от общего количества памяти(ОП+своп).
Изображение

Аватара пользователя
mikhailnov
Сообщения: 138
Зарегистрирован: 29 авг 2015, 22:53
Operating system: Ubuntu, ROSA, FreeBSD
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение mikhailnov » 12 сен 2019, 23:34

Andreas17 писал(а):
12 сен 2019, 20:42
mikhailnov, к сожалению на ядре 4.15.0-desktop-62.3rosa-x86_64 тоже самое.
Почему-то свопиться начинает тогда, когда оперативка забита под завязку. Хотя vm.swappiness = 60.
Пробовал ставить 30 (как советую на некоторых сайтах), но это ничего не дало. :(
Патч не меняет агрессивность своппинга. Я предложил его попробовать в контексте проблемы "если вдруг закончится оперативка, то хоть вешайся!". Может быть улучшено поведение при малом кол-ве свободной памяти, не путайте с тем, когда система начинает свопиться.

swappiness вам надо увеличивать, а не уменьшать. Попробуйте еще

Код: Выделить всё

# https://bugzilla.kernel.org/show_bug.cgi?id=196729#c36
vm.watermark_scale_factor=100
vm.unevictable_activefile_kbytes=100000
#vm.swappiness=80
# https://bugs.chromium.org/p/chromium/issues/detail?id=263561#c16
# Disable swap read-ahead
vm.page-cluster=0
watermark_scale_factor что-то вроде того, когда начинать свопироваться.
ans писал(а):
12 сен 2019, 21:07
Своп должен заполняться, когда остаётся 60% от общего количества памяти(ОП+своп).
swappiness все же не %% свободной памяти.

Аватара пользователя
mikhailnov
Сообщения: 138
Зарегистрирован: 29 авг 2015, 22:53
Operating system: Ubuntu, ROSA, FreeBSD
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение mikhailnov » 12 сен 2019, 23:35

собственно, я тоже наблюдаю то, что свопиться на дефолтных настройках начинает слишком поздно.

Аватара пользователя
Barmalei
Сообщения: 4817
Зарегистрирован: 29 дек 2014, 15:45
Operating system: Intel Pentium 2020M / 6 Gb RAM / AMD GRadeon HD 8570 / Rosa Fresh R11 KDE4 2016.1 x64

Проблемы со swap на свежих ядрах

Сообщение Barmalei » 13 сен 2019, 11:56

Попробовал понаблюдать у себя. На 60% оперативы начинает свопится, но медленно, мелкими шашками. Когда забивается почти вся операвтива начинает активно свопится. Оперативка не забивается на все 100%, остается метров 250-500 для маневра. Когда было 250 метров, комп притормаживал чуть, через минутку оперативы освободилось до 500 и стал веселее шевелится.
Только небольшая проблемка, после закрытия программы и освобождения оперативы, своп не освобождается.

Аватара пользователя
Andreas17
Сообщения: 336
Зарегистрирован: 21 май 2017, 20:07
Operating system: AMD Athlon II X4 640, 12 ГБ ОЗУ, NVIDIA GTX 650, РОСА Fresh R11
Откуда: Москва

Проблемы со swap на свежих ядрах

Сообщение Andreas17 » 13 сен 2019, 22:35

ans писал(а):
12 сен 2019, 21:07
Зачем? Сколько оперативки и какого размера своп?
Если оперативка и своп одного размера, то значение 60 правильно. Своп должен заполняться, когда остаётся 60% от общего количества памяти(ОП+своп).
Тут - http://admin.netlab-kursk.ru/kak-sozdat ... i-v-linux/ посоветовали.
12 ГБ - ОЗУ, 3 ГБ - своп. Пробовал 5 и 10 ГБ - тоже самое.

Аватара пользователя
Andreas17
Сообщения: 336
Зарегистрирован: 21 май 2017, 20:07
Operating system: AMD Athlon II X4 640, 12 ГБ ОЗУ, NVIDIA GTX 650, РОСА Fresh R11
Откуда: Москва

Проблемы со swap на свежих ядрах

Сообщение Andreas17 » 13 сен 2019, 22:53

mikhailnov писал(а):
12 сен 2019, 23:34
swappiness вам надо увеличивать, а не уменьшать. Попробуйте еще
Не, не помогло((.

Сначала проверял на рам-диске, заливая на него файлы по 1 гигу.
Но сейчас решил на FF, открывая вкладки и заметил, что свопинг начинается на 10.7 ГБ заполнения оперативки. :shock:
Вложения
Screenshot_20190914_014657.png

Аватара пользователя
mikhailnov
Сообщения: 138
Зарегистрирован: 29 авг 2015, 22:53
Operating system: Ubuntu, ROSA, FreeBSD
Контактная информация:

Проблемы со swap на свежих ядрах

Сообщение mikhailnov » 13 сен 2019, 23:17

Andreas17 писал(а):
13 сен 2019, 22:53
mikhailnov писал(а):
12 сен 2019, 23:34
swappiness вам надо увеличивать, а не уменьшать. Попробуйте еще
Не, не помогло((.

Сначала проверял на рам-диске, заливая на него файлы по 1 гигу.
Но сейчас решил на FF, открывая вкладки и заметил, что свопинг начинается на 10.7 ГБ заполнения оперативки. :shock:
Попробуйте vm.watermark_scale_factor от 100 до 1000. какой-то эффект должен быть.

Аватара пользователя
Andreas17
Сообщения: 336
Зарегистрирован: 21 май 2017, 20:07
Operating system: AMD Athlon II X4 640, 12 ГБ ОЗУ, NVIDIA GTX 650, РОСА Fresh R11
Откуда: Москва

Проблемы со swap на свежих ядрах

Сообщение Andreas17 » 15 сен 2019, 00:38

mikhailnov, попробовал значения 300, 500, 900 и 1000. Без результата.
Как будто там в ядре гвоздями прибито, что свопить надо на 10+ ГБ памяти. :unknown:

Аватара пользователя
Ukol
Сообщения: 441
Зарегистрирован: 04 май 2014, 17:08
Operating system: ROSA Gnome R2 и далее...
Откуда: с. Богучаны

Проблемы со swap на свежих ядрах

Сообщение Ukol » 15 сен 2019, 05:24

Я делаю так на всех системах которые устанавливал. Правда у меня 32 гига памяти и система стоит на NVME M2 но своп вынес на HDD диск.
Проверить включение свопа. По умолчанию 60

Код: Выделить всё

cat /proc/sys/vm/swappiness
Я делаю 10 для HDD и 1 для SSD

Код: Выделить всё

sudo sh -c "echo 'vm.swappiness=10' >> /etc/sysctl.d/95-swapiness-sysctl.conf"
Применяем

Код: Выделить всё

sudo sysctl -p /etc/sysctl.d/95-swapiness-sysctl.conf
Проверяем

Код: Выделить всё

cat /proc/sys/vm/swappiness
Может поможет, а может я не про то написал... Инфа взята Rudd-O
Я знаю только то, что ничего не знаю, но другие не знают и этого. Сократ !
MSI-GP72-7RD Intel® Core™ i7-7700HQ GTX 1050
Ryzen 5 2600X ASRock X470 Master SLI ASUS Vega 64

Ответить