aria2c - the next generation download utility

о модулях и их работе

Re: aria2c - the next generation download utility

Postby kpa-rs » 14 Jun 2013, 14:58

Отправил содержимое /usr/local/etc/mos/etc/pm/installed в личные сообщения
Digma HDMP-550 (1.0.8.0)
kpa-rs
 
Posts: 7
Joined: 13 Jun 2013, 13:34

Re: aria2c - the next generation download utility

Postby FarVoice » 14 Jun 2013, 16:06

Судя по всему дело в libgcc_s . Я закинул более свежую версию. Обновите всё из веб-морды.
Хм.. А ваще интересная прошивка... Вроде 1185, и достаточно свежая, а на uClibc 0.9.28 ...
ASUS O!Play R1 (amp_r12_vrtn), xTreamer Pro (amp_r12_vrt), xTreamer Prodigy (iNeXT 2.14 r2), IconBIT HDR12L (amp_r12_vrt), 3Q F425HW (xds42gl_7725_r3), MyGica A11 (mygica_m3_20121222)
User avatar
FarVoice
Администратор
 
Posts: 8572
Joined: 03 Sep 2010, 01:27
Location: Russia, Moscow

Re: aria2c - the next generation download utility

Postby kpa-rs » 14 Jun 2013, 16:57

Большое спасибо! После обновления модулей через web-интерфейс aria ведёт себя совершенно нормально. Теперь качает по HTTP, FTP торренты тоже. Большое человеческое Вам спасибо!!!
Digma HDMP-550 (1.0.8.0)
kpa-rs
 
Posts: 7
Joined: 13 Jun 2013, 13:34

Re: aria2c - the next generation download utility

Postby pavel12prot » 22 Jun 2013, 03:39

Я присоединяюсь к благодарности - интересный и полезный пакет. Небольшой, но очень заметный для пользователя баг:

При закачке торрентов на NTFS раздел (что делает большинство юзеров) установка Pre-allocation - None игнорируется, ждать начала закачки каждого торрента приходится минут 5 из-за разметки диска. При закачке на FAT32 и EXT3 эта установка выполняется нормально, закачка начинается сразу. У кого-то ещё наблюдается такое?
pavel12prot
 

Re: aria2c - the next generation download utility

Postby FarVoice » 22 Jun 2013, 08:49

наблюдается :( Видимо, дело в кривизне реализации ntfs на плеерах. А вы не пробовали trunc, falloc ? Есть какая-то разница?
ASUS O!Play R1 (amp_r12_vrtn), xTreamer Pro (amp_r12_vrt), xTreamer Prodigy (iNeXT 2.14 r2), IconBIT HDR12L (amp_r12_vrt), 3Q F425HW (xds42gl_7725_r3), MyGica A11 (mygica_m3_20121222)
User avatar
FarVoice
Администратор
 
Posts: 8572
Joined: 03 Sep 2010, 01:27
Location: Russia, Moscow

Re: aria2c - the next generation download utility

Postby pavel12prot » 22 Jun 2013, 21:41

Сейчас попробовал - первые результаты сравнения, как заметный для юзера параметр - задержка закачки каждого торрента на старте (резервирование места на диске под файл) в Aria2 влияет на результаты. Для тестирования возьмём ряд сходных торрентов размером ~1.4 ГБ, и ограничениями: число пиров 10, скорость закачки ~ 1MB/sec, отдачи 2KB/sec.

1. Диск отформатирован в NTFS:

а) при форматировании на плеере - возможны ошибки форматирования, и это задерживает разметку в Aria2, или вообще блокирует закачку. Эти ошибки видны при сканировании диска в Windows или Gparted в линуксе.

б) при форматировании в NTFS на ПК (раздел Linux SWAP присутствует на диске):

- режим no prealloc работает на моих плеерах очень ненадёжно. Псевдоразметка идёт 4-5 мин, закачка часто прерывается через пару сек. после старта, потом может иногда восстановиться при попытках рестарта торрента вручную. Если закачка прошла до конца, скачанный файл фрагментирован, и на диске бывают ошибки;
- режим prealloc работает нормально: разметка диска под файл занимает 1.5-4 мин, закачка начинается без проблем. Часть закачанных больших файлов не фрагментирована, другая мало фрагментирована - при записи детального лога. Это если есть пиры конечно, так что не мешает проверить на ПК или расширенном ГУИ Арии, есть ли пиры, когда не качает;
- режим falloc в Aria2 недоступен, т.е. не сохраняется в установках;

ГУИ не даёт назначить дефолтный режим отдельно для каждой файловой системы диска. ИМХО было бы лучше отключить режим no prealloc в коде для NTFS, если он на всех плеерах так работает. Один раз это привело к зависанию плеера после ребутов из-за ошибок на диске, устранилось фиксом диска на ПК. Рекомендую prealloc сделать дефолтом для NTFS, и отключить лог Aria2.

Фрагментация:
Code: Select all
mint-virtual-machine download_NTFS # filefrag *
aria2c.log: 363 extents found
aria2c.save: 0 extents found
Ne.mozhet.bit.1975.avi: 227 extents found                 # no prealloc
pozdnjaja.ljubov.1983.avi: 3 extents found                # prealloc


Aria2 NTFS failed.jpg
Aria2 NTFS failed.jpg (46.26 KiB) Viewed 10015 times


2. Диск отформатирован в EXT3

- режим no prealloc даёт задержку 1-1.5 мин, и тоже псевдорезервирует место на диске без записи нулей. При закачке с no prealloc большие файлы размером 1Гб+ сильно фрагментированы (что характерно для EXT3 в отличие от EXT4), что может вызвать пикселяцию и нагрев диска при просмотре, хотя на пустом диске все фрагменты записаны впритык друг за другом, но видимо в произвольном порядке, если нет параллельной записи на него.
- режимы prealloc и falloc дают задержку 3-4 мин, иногда вводят плеер в неограниченно долгий ступор. Но фрагментация много меньше. Если Aria2 выдала ошибку вначале, убедитесь что раздел смонтирован с доступом RW, и диск для закачки указали латиницей. Всё же рекомендую prealloc.

Фрагментация:
Code: Select all
mint-virtual-machine download_ext3 # filefrag *
The_Double_Life_of_Veronica.avi: 34576 extents found, perfection would be 1 extent                  # no prealloc
The_Double_Life_of_Veronica_eng.srt: 1 extent found
The_Double_Life_of_Veronica_rus.srt: 2 extents found, perfection would be 1 extent
Kinolubitel'.avi 400 extents found, perfection would be 1 extent                                      # prealloc


3. Диск отформатирован в FAT32:

- закачка в no prealloc начинается почти сразу, файл мало фрагментирован при наличии достаточного места на диске, и исключении параллельных записей. Закачка на FAT32 прерывалась пару раз при одновременном поиске в инете тем же браузером, требуя перезагрузки плеера или рестарта ряда сервисов.
- режимы prealloc и falloc не дают преимуществ из-за низкой фрагментации больших файлов и без резервирования.

Фрагментация:
Code: Select all
mint-virtual-machine download_FAT32 # filefrag *
7cf722b209162b33545dae61ef7a00240a6d43d4.torrent: 1 extent found
Devchata.1961.RUS.BDRip.XviD.AC3.avi: 9 extents found                  # no prealloc


Получается, что NTFS на плеере даёт заметные преимущества в сравнении с EXT3 из-за низкой фрагментации больших файлов. Aria2 веб-гуи может подвисать при закачке в FAT32, но закачка продолжается. Запись лoга Aria2 лучше выставить "пусто" или notice в Установках. Не забываем использовать Linux SWAP или режим NoGUI. В Aria2 создаём очередь на закачку, задаём режим prealloc и диск для записи, обеспечиваем нормальное охлаждение проца и диска (лучше с малым RPM или SSD) и идём спать, чтоб задержки на разметку диска не давили на мозги - это не баг качалки. :lol:

Интересно, кто-либо может подтвердить или опровегнуть эти результаты? Видимо, от модели и версии прошивки тоже зависит. :D
Last edited by pavel12prot on 25 Jun 2013, 17:04, edited 2 times in total.
pavel12prot
 

Aria2 versus Transmission

Postby pavel12prot » 24 Jun 2013, 20:31

А теперь посмотрим, имеет ли Aria2 какие-либо преимущества над Transmission в плане использования ресурсов системы и других. Для теста также берём сходные торренты размером ~1.4 ГБ с числом пиров ограниченным в установках до 10, фактической скоростью закачки ~ 1MB/sec, и резервированием диска (запись нулей) под каждый торрент 2-3 мин. Остальные установки качалок дефолтные от МОС.

1. Диск отформатирован в NTFS:


Aria2
Transmission
Aria2 NTFS Load 1.jpg
Aria2 NTFS Load 1.jpg (38.21 KiB) Viewed 9976 times
Transmission NTFS Load 1.jpg
Transmission NTFS Load 1.jpg (37.45 KiB) Viewed 9976 times


2. Диск отформатирован в EXT3:


Aria2
Transmission
Aria2 EXT3 Load 1.jpg
Aria2 EXT3 Load 1.jpg (39.18 KiB) Viewed 9976 times
Transmission EXT3 Load 1.jpg
Transmission EXT3 Load 1.jpg (35.99 KiB) Viewed 9976 times


3. Резервирование диска. Старт и остановка закачки:


Aria2 Start
Aria2 Stop
Aria2 EXT3 Start 1.jpg
Aria2 EXT3 Start 1.jpg (32.3 KiB) Viewed 9976 times
Aria2 EXT3 Stop 1.jpg
Aria2 EXT3 Stop 1.jpg (28.45 KiB) Viewed 9976 times


Как видим, при дефолтных установках Aria2 загружает ЦП до 10% меньше чем Transmission, и значительно реже сбрасывает скачанное на диск. При этом NTFS опять опережает EXT3 по эффективности. Хотя сейчас Transmission в MOS работает стабильнее, и резервирует диск под торрент чуть быстрее. И ведёт себя с пирами более активно: находит больше пиров, качает у большего числа пиров из найденных, но с ростом числа пиров на торрент и лимита скорости растёт и скорость его закачки, и загрузка проца & диска. Оптимальна для обоих качалок - закачка по одному файлу из списка, что даёт стабильную загрузку проца 45-60%. Для закачки сразу 2-х файлов при 90%+ загрузке ЦП нужно хорошее (водяное :mrgreen: ) охлаждение в плеере, иначе при регулярной длительной закачке как ЦП, так и потребительский HDD могут начать глючить.

Поскольку Aria2 реже сбрасывает кеш на диск, одновременная закачка и просмотр кино на плеере с диска может идти без артифактов. SWAP для сброса скачанного малоэффективен, тем более на том же диске, а вот экстра RAM при закачке торрентов не помешал бы. Не забудем, что у HDD своя память, поэтому сброс на физический диск идёт реже чем запись с качалки в память диска, что также улучшает шансы просмотра кино при закачке торрентов. Я даже слышал характерный щелчок вывода головок на диск во время закачки, т.е. возможно диск не вращался, а запись торрента шла в его RAM.

Вероятно, оптимизацией Установок (cache-size и др.) можно уменьшить частоту сбросов кеша на диск в Transmission, и значит снизить загрузку проца и диска, приблизив к уровню Aria2. При закачке большого списка торрентов в любом клиенте не забываем, что диск будет долго включен. Так что надо или улучшать охлаждение, или качать эпизодически, а закачки длинных списков торрентов делать на компе. :D

Хотелось бы картинки на форуме размещать в 2 колонки - есть такая фича?
Last edited by pavel12prot on 27 Jun 2013, 19:06, edited 3 times in total.
pavel12prot
 

Re: aria2c - the next generation download utility

Postby FarVoice » 25 Jun 2013, 11:27

увы, в две колонки нету. Ну, мож и есть, но не знаю - как.
Спасибо за экспириенс. У меня получались сходные результаты, но, так как я тестировал на noGui с разогнанной шиной, то ария делала транс не на 10% а порядка 30%. Т.е. основная нагрузка на проц у арии - это операции чтения - записи в память/свап/внешние драйвы, тогда как у транса - это больше вычислительные нагрузки, что говорит о гораздо более оптимизированных алгоритмах.
ASUS O!Play R1 (amp_r12_vrtn), xTreamer Pro (amp_r12_vrt), xTreamer Prodigy (iNeXT 2.14 r2), IconBIT HDR12L (amp_r12_vrt), 3Q F425HW (xds42gl_7725_r3), MyGica A11 (mygica_m3_20121222)
User avatar
FarVoice
Администратор
 
Posts: 8572
Joined: 03 Sep 2010, 01:27
Location: Russia, Moscow

Re: aria2c - the next generation download utility

Postby pavel12prot » 25 Jun 2013, 22:15

По поводу размещения картинок в колонки, поддержка Таблиц в постах в текущей версии phpBB по дефолту отключена, но можно включить как показано здесь (см. также видео из той ветки). Очень пригодилось бы для сравнения картинок в колонках и читаемости. :)

Forum Columns.jpg
Forum Columns.jpg (31.37 KiB) Viewed 9896 times
Last edited by pavel12prot on 26 Jun 2013, 04:29, edited 2 times in total.
pavel12prot
 

Re: aria2c - the next generation download utility

Postby ordin » 25 Jun 2013, 23:18

@pavel12prot
Благодарю, за профессионально выполненный тест и добротное изложение материала!!!
На многие вещи - открыл глаза! Чувствовал их интуитивно, но только сейчас увидел доказательную базу!
Личная просьба, конечно если будет время...
Сделать маленький обзор, по проблемам загрузки файлов нашими плеерами, для ПО из состава mos3.
(Ваше видение проблемы!)
На мой взгляд - должно быть в разделе FAQ! Заранее благодарен!
asus R1, Wi Fi D-Link N 150; asus mini+
ordin
 
Posts: 750
Joined: 26 Dec 2011, 23:18

PreviousNext

Return to Модули

Who is online

Users browsing this forum: No registered users and 17 guests