Торрент поисковик. Пиратский союз.

Нас пригласили на борт корабля, и мы всецело повиновались. Никто не хотел проблем: ни они, ни наша команда...

Торрент поисковик. Пиратский союз. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Пиратская копия, Распределенные сети, Длиннопост

"Крысы на борту" - торрент поисковик собирающий статистическую информацию о торрентах не используя торрент-трекеры и дающий возможность обеспечить поиск по торрентам (и отдельным файлам в них) даже если все трекеры заблокируют в будущем.


Предыдущие статьи:

Часть 1 - Часть 2 - Часть 3 - Часть 4 - Часть 5 - Часть 6 - Часть 7 - Часть 8 - Часть 9 - Часть 10 - Часть 11 - Часть 12 - Часть 13 - Часть 14 - Часть 15 - Часть 16 - Часть 17 - Часть 18

Как и в предыдущих статьях, в этой пойдет речь о десктопной версии поисковика для локального использования о его улучшениях и нововведениях сделанных благодаря пикабу.

Ссылки на последнюю версию:

Windows 32/64bit: https://github.com/DEgITx/rats-search/releases/download/v0.2...

Linux: https://github.com/DEgITx/rats-search/releases/download/v0.2...

Mac OS X: https://github.com/DEgITx/rats-search/releases/download/v0.2...

О багах, предложениях и проблемах сюда - https://github.com/DEgITx/rats-search/issues (регистрируемся - new issue - описываем проблему в деталях)

Отслеживать проект на Github - https://github.com/DEgITx/rats-search (там звездочку влепите, если интересен проект :D)

Базовая инструкция по использованию - https://github.com/DEgITx/rats-search/blob/master/docs/USAGE...

Итак, новые изменения:

Появивился дополнительный механизм подгрузки описаний с трекеров - этого многие ждали довольно давно:

Торрент поисковик. Пиратский союз. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Пиратская копия, Распределенные сети, Длиннопост

Работает приблизительно следующим образом. Если какие-то из поступающих торрентов удалось найти на трекерах, - их отобразит с соответствующей плашкой (я напоминаю, что многие торренты, поступающие в программу, могут и вовсе не присуствовать ни на каких трекерах):

Торрент поисковик. Пиратский союз. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Пиратская копия, Распределенные сети, Длиннопост

В самих деталях торрента можно наблюдать такую картину:

Торрент поисковик. Пиратский союз. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Пиратская копия, Распределенные сети, Длиннопост

Пока в тестовом режиме поддерживаются 2 источника: рутрекер и няя.си, думаю в ближайшее время еще появятся рутор с кикасом. Поиск сооветствий происходит напрямую с ресурсов и результат сохраняется в локальную базу, поэтому те, у кого доступ заблокирован, будут испытывать некоторые трудности с подгрузкой описаний. Однако все компенсируется механизмом репликации и распределенных баз поиска, т.е. за вас работу по сбору информации с трекеров могут выполнять клиенты крыс и крысиные сервера находящиеся в регионах где доступ к рутрекеру и другим ресурсам не ограничен (например, НЕ в Россия). Более того, распределенные базы будет хранить описания даже если вдруг рутрекер или другие русурсы рискнут исчезнуть.

Торрент поисковик. Пиратский союз. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Пиратская копия, Распределенные сети, Длиннопост
Торрент поисковик. Пиратский союз. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Пиратская копия, Распределенные сети, Длиннопост

Из исправлений/изменений, исправлено левое всплывающее пустое окно.

Торрент поисковик. Пиратский союз. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Пиратская копия, Распределенные сети, Длиннопост

Исправлен поиск кандзи и каны, а так же некоторых других алфавитов.

Торрент поисковик. Пиратский союз. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Пиратская копия, Распределенные сети, Длиннопост

Исправлено закидывание торрентов в базу вручную, через папки в окно программы. Раньше можно было только торрент-файлы перетаскивать. Кое-как работать будет.

Как обычно жду ваших новых предложений, вопросов и т.п. в комментариях. Так же для ознакомления с программой рекомендую познакомиться с предыдущими постами и, особенно, комментариями.

Торрент поисковик. Пиратский союз. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Пиратская копия, Распределенные сети, Длиннопост
13
Автор поста оценил этот комментарий

Вопросец: а вам ничего не будет за создание и поддержку такой проги? Ведь это по сути обход идиотского, но тем не менее закона. Могут ведь попытаться прикрыть за пособничество.

раскрыть ветку (1)
33
Автор поста оценил этот комментарий

За разработку программного обеспечения у нас вроде не садят пока что :).
Сама программа не содержит никакой пиратской информации, и распространяется без баз поиска - т.е. в абсолютно чистом виде как и любой торрент-клиент без закачек в инсталяторе. Не вижу в этом проблему.
Это из разряда садить ли продавца бензопилы, если ее хозяин порубил 10 человек в торговом центре.

показать ответы
6
Автор поста оценил этот комментарий

Была бы возможность смотреть бы видео не загружая тореент, цены бы не было. (По типу ace player, и utorrent pro)

раскрыть ветку (1)
9
Автор поста оценил этот комментарий

ага, были такие задумки, пока сосредоточенны чуть на другом, но вполне вероятно что будет

33
Автор поста оценил этот комментарий

Почитал на гитхабе, годная прога, функционал на уровне. Только вот задумался о её целевой аудитории, для кого она? Подавляющее большинство народу, пользующиеся торрентами ищут то, что надо гораздо проще и без установки доп. прог.

К примеру мне сильно облегчают поиск tparser.орг и tsearch.ме. Первым оч удобно искать кино, а вторым - музыку и софт.

раскрыть ветку (1)
12
Автор поста оценил этот комментарий

Я уже писал в чем отличиие от того же tparse и hal (#comment_119202907 #comment_79837870) с точки зрения поиска. Базы поиска абсолютно разные, как в целом и назначение.
К тому же это еще и торрент-клиент из разряда нашел-скачал-посмотрел/послушал. Веб версию же любой может поднять либо для себя либо других.

показать ответы
10
Автор поста оценил этот комментарий

бесит постоянно масштабирующийся интерфейс при скролле.

Иллюстрация к комментарию
раскрыть ветку (1)
4
Автор поста оценил этот комментарий

ну это думаю временно :) для увеличения рабочего пространства, скоро либо закреплю уменьшив панель пермаментно, либо сделаю опцию на закрепление

показать ответы
5
DELETED
Автор поста оценил этот комментарий

На рутрекере есть далеко не всё, крайне далеко не всё. Как я понимаю, эта прога ищет кроме рутрекера и по другим сайтам, кроме того, даже те торренты, которых нет ни на каких сайтах вообще. И ещё, вроде она скачивает базу к себе, так что юзать впн или прочие радости обхода блокировок не нужно.

раскрыть ветку (1)
3
Автор поста оценил этот комментарий

все в целом верно

Автор поста оценил этот комментарий

Добавь .deb пожалуйста

раскрыть ветку (1)
3
Автор поста оценил этот комментарий

.deb есть на гитхабе, как и другие варианты https://github.com/DEgITx/rats-search/releases/tag/v0.29.1

показать ответы
Автор поста оценил этот комментарий

Эта программа умеет гребсти данные из dht сети или только по публичным трекерам роется?

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

и то и то, но акцент в основном на dht

1
Автор поста оценил этот комментарий

Я понимаю, что это  скорее глупый вопрос, но как быть с подобными раздачами без описания?

Мой внутренний параноик обходит подобное стороной, но ведь найдутся и любители пощупать "кота в мешке")

Иллюстрация к комментарию
Иллюстрация к комментарию
раскрыть ветку (1)
2
Автор поста оценил этот комментарий

пометки - тот же рейтинг, комментарии, вполне немного помогут ориентироваться

показать ответы
Автор поста оценил этот комментарий

непонятно, какое положение иконки безопасный поиск включает, а какое отключает

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

синий - включено (по умолчанию), ну типо перечеркнутый глазик
красный - отключает, обычный глазик - ну тоесть типо видно все
оно неинтуитивно?

показать ответы
1
Автор поста оценил этот комментарий

tsearch - это сто пудов гугл, натравленный на список сайтов. Он мне слово "veter" начал подсовывать как "wind".


А вообще, даже этот поисковик не подходит... Увы.


Иногда люди называют что-то очень проблемно и поисковики это не могут найти.


Вот, к примеру, есть проект Echo-ES. Автор: Igor Veter. Музыку он выкладывает в открытый доступ, но я не хочу вручную качать сотню треков, а хочу найти в виде торрента. И фиг. Гугл (tsearch и rutracker) это ищет как "echoes" и находит множество разного левого непричастного.


Эта прога (Крысы) находит только один торрент "Sopor Aeternus & The Ensemble Of Shadows" вообще не пойми по какому признаку.


Tparser не находит ничего.


В комбинации с "veter" или "ветер" всё ещё хуже.

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

Ну по запросу удалось найти в какой-то сборке, но думаю тут очень индивидуально все и зависит от того что ищется, никакой из поисковиков нынешних не совершенен.

Иллюстрация к комментарию
показать ответы
Автор поста оценил этот комментарий

@DEgITx, Сорян за может тупой вопрос но есть возможность скомбинировать базу данных? Своя 512Т, не хотелось бы начинать с начала.. Прост в гитхабе некоторые раздают свою огромную базу с закрытых трекеров.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Пока что нет, но такая возможность возможно будет в будущем, было уже предложение.

Автор поста оценил этот комментарий

@DEgITx, смотрю на ссылки на Гит (на ники авторов редко смотрю) - и что-то знакомое глаз зацепило.

Интернет тесен.

P.S. В Audiosurf отлично заходит такое.

Иллюстрация к комментарию
раскрыть ветку (1)
1
Автор поста оценил этот комментарий

:) ага

Автор поста оценил этот комментарий

Да, оранжевым. Почему-то не сохранилось при перезапуске. Сейчас все нормально. Вопрос, программа записывает данные в базу только после выключения, или еще и периодически во время работы? Например, если свет выключат.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

в процессе, если вырубает свет - должно востановить, если не покоцано на диске
при обычном закрытии оно просто более корректно все сохраняет

Автор поста оценил этот комментарий

Че-то под виндой после закрытия оставляет два процесса со своим именем и еще как минимум один с другим...

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

они могут висеть секунду-две, но должны исчезать, если нет - пришлите пожалуйста rats.log из папки в appdata, rats on the boat которая

Автор поста оценил этот комментарий

Я скачал программу, запустил, она занялась сбором новых торрентов. Показала в статусе 350 торрентов, после чего я ее перезапустил. После запуска она показало 0 торрентов, и снова начала их собирать с нуля. Это нормально? Я думал, что она продолжит с тех 350, что были перед закрытием.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

если оранжевым цветом такое количество было - то нет, не должно быть такого

показать ответы
Автор поста оценил этот комментарий

Решил опробовать, что за прога, после установки выдала следующее, чё ей надо?

Иллюстрация к комментарию
раскрыть ветку (1)
1
Автор поста оценил этот комментарий

порт 4445 чем-то занят, как правило должен быть свободен, это порт по умолчанию при первом запуске
можно настроить в настройках программы когда запуститься, если же нет, то вручную настроить, если религия позволяет, в файле rats.json в appdata.

может быть в следующую версию добавлю выбор случайного порта при первом запуске

Автор поста оценил этот комментарий

Пока в тестовом режиме поддерживаются 2 источника: рутрекер и няя.си

Ну и нафиг это тогда нужно? Чем это отличается от обычного поиска на рутрекере для человека, который онеме не смотрит?

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

я детально рассказывал раньше, почитайте комментарии #comment_79837870 #comment_119808801
тут совсем другого вида поиск

показать ответы
2
Автор поста оценил этот комментарий

краткий мануал по вебверсии для убунты:


1) install minimal (I use 18.04 LTS)

2) install dependences:

apt install curl git npm


3) Update Node.js

# Install Node.js 6.x repository

curl -sL https://deb.nodesource.com/setup_6.x | bash -

# Install Node.js and npm

apt-get install -y nodejs


4) install ROTB

git clone https://github.com/DEgITx/rats-search

cd rats-search

npm install

npm run buildweb

npm run server


5) configure you iptables/firewall (if you do not want allow for anyone)

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

спасибо, почему там где-то около установки серверной версии, только 8 ветку нода надо по умолчанию а не 6, там это требование минимальной версии

показать ответы
Автор поста оценил этот комментарий

А почему мне по тому же запросу не удалось? Прога разным людям разное показывает?

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

в данном случае у вас, скорее всего, нашло что-то через распределенный поиск (на моем скриншоте 2 торрента удаленных и один локальный), он зависит от пиров (другими словами участников с разными базами поиска), рекомендую обращать внимание на количество зеленьких+оранжевеньких торрентов под поиском - чем их больше, тем среди большего количества ищет и больше вероятность что найдет.

5
Автор поста оценил этот комментарий

Такой вопрос по веб-версии, может запилите Docker-образ?

Чтобы запускать все одной командой. Было бы удобно.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

хорошо, спасибо за предложение, можно было бы

показать ответы
Автор поста оценил этот комментарий

Спрошу ещё разок. А есть какое-то описание протокола общения крыс? хочу написать совместимый софт на Go)

раскрыть ветку (1)
Автор поста оценил этот комментарий

пока описание не оформлено, и там по-чуть чуть меняется, возможно опишу по мере свободного времени, думаю появиться на гитхабе где-то в док в md файле.

Автор поста оценил этот комментарий

@DEgITx у меня стояла нерусская локаль (японская), не запускалось, сменил, все нормально (я не хочу в гитхабе регестрироваться)

раскрыть ветку (1)
Автор поста оценил этот комментарий

ссылку на rats.log в студию который в Documents/AppData/Rats on the Boat

DELETED
Автор поста оценил этот комментарий

Воу.. Чёт испугался :Ъ Я просто как раз отправлял форму на Лео и думал, что это там что-то :) А это RoTB. В общем.. Я в этом не разбираюсь :)


https://dropmefiles.com/rT4Dx

Иллюстрация к комментарию
раскрыть ветку (1)
Автор поста оценил этот комментарий

редкая ошибка, у кого-то еще друого такая была, это после долгой работы?

показать ответы
DELETED
Автор поста оценил этот комментарий

@DEgITx, здравствуй. Извини, что беспокою, но как обстоят дела с раздачей? То есть, она вообще есть? Я скачиваю какой-то торрент и что дальше? Он автоматически раздается или нет? Если да, то что на счёт ограничений по скорости?

Оу.. Я не смог открыть скачанный файл, пока не удалил его из программы. Так должно быть? (setup_worms2_2.0.0.23)

раскрыть ветку (1)
Автор поста оценил этот комментарий

в следующей версии (0.30.1 или 0.31.0) проверь, должно нормально открывать после закачки

показать ответы
DELETED
Автор поста оценил этот комментарий

@DEgITx, здравствуй. Извини, что беспокою, но как обстоят дела с раздачей? То есть, она вообще есть? Я скачиваю какой-то торрент и что дальше? Он автоматически раздается или нет? Если да, то что на счёт ограничений по скорости?

Оу.. Я не смог открыть скачанный файл, пока не удалил его из программы. Так должно быть? (setup_worms2_2.0.0.23)

раскрыть ветку (1)
Автор поста оценил этот комментарий

1) да должен автоматически раздавать после завершения, не уверен пока насчет ограничения на раздачу, возможно будет
2) встречал что жаловолись не раз насчет невозможности открыть закаченное на 100%, сам у себя не встречал, но гляну поправлю чуть что.

Автор поста оценил этот комментарий

С международным пиратским днем, @DEgITx ! Яррр!

раскрыть ветку (1)
Автор поста оценил этот комментарий

;)

Автор поста оценил этот комментарий

Пробовал устанавливать еще предыдущую версию
не запускается
Удалил и скачал эту версию
Пробует грузится но ничего не запускается


Windows 8.1 x64
Может какую библиотеку надо было еще установить
Или логи почитать
Что можно сделать?

раскрыть ветку (1)
Автор поста оценил этот комментарий

Пришлите лог rats.log из папки appdata/roaming/rats on the boat

Автор поста оценил этот комментарий

аффтар у тебя в под поиском какая-то информация торчит. Не совсем понятная.

Удаленные торренты например.

Они где-то расположены удаленно?

Или удалены из выборки, вообще?

И если удалены, то по какому признаку?

раскрыть ветку (1)
Автор поста оценил этот комментарий

Расположенны удаленно

Автор поста оценил этот комментарий

Спасибо за отклик)
https://dropmefiles.com/itYS0

раскрыть ветку (1)
Автор поста оценил этот комментарий

в том логе все впорядке, в 0.29.3 более обширный лог, если проблема сохранилась, пришлите пожалуйста лог уже под этой версией

показать ответы
Автор поста оценил этот комментарий

Привет, мб подскажет кто, что я не так делаю?) После установки и запуска открывается только белое окно с панелью сверху... в настройки не заходит, поиск и фильтр тоже бесполезно жать

раскрыть ветку (1)
Автор поста оценил этот комментарий

rats.log если можно пришлите в папке appdata/rats on the boat он валяется, чтобы было проще понять

показать ответы
Автор поста оценил этот комментарий

http://take.ms/ERzbt - при скроле все смазывается. mac os

раскрыть ветку (1)
Автор поста оценил этот комментарий

какая версия mac os?

Автор поста оценил этот комментарий

https://privnote.com/NoE62vqV#0h110cZxc

напиши если не получилось. Не хочу палить файлообменник)

раскрыть ветку (1)
Автор поста оценил этот комментарий

ну вроде есть

показать ответы
Автор поста оценил этот комментарий

В общем я хз что сказать даже..

1. Лог-файл который я нашёл после закрытия т.е. не сброшенный весит 113 Мб и почти весь состоит из одинаковых абзацев по типа

[12:01:37 AM] [ERROR] [system] Rejection: { Error: Cannot enqueue Query after fatal error.

at Protocol._validateEnqueue

и ещё штук 10 строк "at".


А всего в файле 189 тыщ строк. Если лог сбрасывается при перезапуске программы значит он это нагенерил с 6-7 вечера и до 12.


2. После перезапуска интерфейс таки поднялся, я подождал немного и завершил программу через меню (кстати верхнее меню есть а вот выхода там нет..).

Во втором логе есть

12:10:10 AM] [store] { Error: Handshake inactivity timeout

тоже с кучами "at" - 2 абзаца


и

[12:10:35 AM] [ERROR] [http] https://jsonblob.com/api/jsonBlob/013a4415-3533-11e8-8290-a9... error: socket hang up

одна.


Ближе к концу есть 2 кучки

[12:12:40 AM] [sql] prevent sql request after end of connection

Лог могу скинуть и тот и тот. Куда кидать, если надо?

раскрыть ветку (1)
Автор поста оценил этот комментарий

Надо, на любой файлобменник, не принципиально

показать ответы
Автор поста оценил этот комментарий

Хм, видимо моя очередь опять слать лог - прога после апдейта не стартует и судя по комментам это не массовая беда. Хотя возможно 300к торрентов перебор для Core2duo

раскрыть ветку (1)
Автор поста оценил этот комментарий

rats.log если можно после старта

показать ответы
1
Автор поста оценил этот комментарий

Сделай плиз чёткую идентификацию окна с сообщением о доступной новой версии.
Чтобы понять что это не какой-нибудь малварь или вирь пришлось лезть в диспетчер. Например выводить в сообщение название программы и версию текущую и апдейта. И лучше в заголовке окна тоже добавить название проги.

раскрыть ветку (1)
Автор поста оценил этот комментарий

ок :)

Автор поста оценил этот комментарий

Кстати есть небольшой баг/фича. Если в консоли npm выделить какой то текст то всё останавливается до нажатия ctrl+c

раскрыть ветку (1)
Автор поста оценил этот комментарий

это под какой операционкой?

показать ответы
Автор поста оценил этот комментарий

Друже, подскажи, а где на MacOS X хранятся файлы

раскрыть ветку (1)
Автор поста оценил этот комментарий

в Application Support кажется

показать ответы
1
Автор поста оценил этот комментарий

Спасибо за программу, довольно интересная идея. Есть пара вопросов. Например, можно ли в node версии переключить язык? Смена в rats.json ничего не даёт. Что означает надпись direct в заголовке? Прямые подключения? Подключения к кому и для чего? И ещё, для чего в поставке plink? К кому подключаться?

раскрыть ветку (1)
Автор поста оценил этот комментарий

1) будет исправлено в следующей версии, либо есть из мастера обновиться

2) #comment_119390685

показать ответы
Автор поста оценил этот комментарий

Портабл есть?

раскрыть ветку (1)
Автор поста оценил этот комментарий

есть - https://github.com/DEgITx/rats-search/releases/tag/v0.29.1 - тут разные варианты

Автор поста оценил этот комментарий
Есть ли какие либо ограничения на размер базы данных в приложении? Хочу попробовать туда пару миллионов торрентов закинуть для удобства, но боюсь работать не будет
раскрыть ветку (1)
Автор поста оценил этот комментарий

пока что не очень кофортно будет после миллиона (в основном повлияет на длительность запуска), пока в планах сделать небольшую оптимизацию, тогда думаю 10-30 миллионов будет вполне комфортно

Автор поста оценил этот комментарий

то есть можно искать по названиям и размеру файлов в раздачах, которые имеются в базе?

раскрыть ветку (1)
Автор поста оценил этот комментарий

по названиям файлов можно, размеры только для общего размера торрента играют роль в поиске

показать ответы
2
Автор поста оценил этот комментарий

вещь ползеная, но интерфейс какойто хроморукий... я бы даже сказал интуитивно непонятный...

раскрыть ветку (1)
Автор поста оценил этот комментарий

ну тут нужно чтобы кокретные предложения по интерфейсу описывали, например на гитхабе, https://github.com/DEgITx/rats-search/issues как лучше сделать и и попнятнее

показать ответы