Инструменты и сервисы для OSINT

ПРОГРАММЫ

http://dr-watson.wix.com/home – программа предназначена для исследования массивов текстовой информации с целью выявления сущностей и связей между ними. Результат работы – отчет об исследуемом объекте.

http://www.fmsasg.com/– одна из лучших в мире программ по визуализации связей и отношений Sentinel Vizualizer. Компания полностью русифицировала свои продукты и подключил горячую линию на русском.

http://www.newprosoft.com/ – “Web Content Extractor” является наиболее мощным, простым в использовании ПО извлечения данных из web сайтов. Имеет также эффективный Visual Web паук.
Continue reading

WiFi из консоли – wpa_supplicant

Пошагово:

  1. ip link set wlan0 up (не обязательно, но так, для галочки :))
  2. iw dev wlan0 scan | grep -i ssid (тоже не обязательно, но полезно если надо просмотреть список доступных сетей)
  3. wpa_passphrase нужный_ssid пароль
  4. результат работы предыдущей команды записываем в /etc/wpa_supplicant/wpa_supplicant.conf
  5. wpa_supplicant -B -D wext -i wlan0 -c /etc/wpa_supplicant/wpa_supplicant.conf (ключ -B – запускает wpa_supplicant в фоне)
  6. dhcpcd wlan0

SSH авторизация по ключам

Моя версия шпаргалки 🙂

1. Генерируем ключи на машине с которой (т.е. локальная, рабочая станция) будем подключаться:

ssh-keygen -t rsa -q -N '' -f ~/.ssh/id_rsa

2. Копируем открытый ключ на удаленный сервер

scp ~/.ssh/id_rsa.pub user@remote.com:~

3. На удаленном сервере заносим открытый ключ в авторизованные и выставляем правильные права:

remote$ [ -d ~/.ssh ] || (mkdir ~/.ssh; chmod 711 ~/.ssh)
remote$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
remote$ chmod 600 ~/.ssh/authorized_keys
remote$ rm ~/id_rsa.pub

Копируем строки из файлов средствами linux

Как то понадобилось мне из двух тысяч текстовых файлов (из 2402 файлов если быть точным) выдернуть конкретные строки: с 4 по 6. Перепробовал много разных методов а решение было на поверхности. Bash + cut друзья на век :). Спасибо коллеге что подсказал. Итак скрипт:

for l in $(ls ./); do cat $l | head -n 6 | tail -n3; done > ../bla-bla-bla.txt

Поясню что здесь происходит:
for l in $(ls ./); – конструкция которой мы пробегаем по всем файлам в директории
do cat $l | head -n 6 | tail -n3; done – команда на выборку строк, мы сначала выводим первые 6 строк файла (head -n6) а потом из этих 6 строк показываем 3 нижних (tail -n3). А ларчик просто открывался :).
Соответственно конструкцию c head и tail можно заменить на sed -n 4,6p

NLP libraries and etc.

Результаты поиска “NLP libraries with GPU support”

17 Great Machine Learning Libraries – конкретно заинтересовало Theano (efficient computation of mathematical expressions using GPU).

Классификация русского текста с помощью библиотеки Natural на NodeJS

Использование языка Python, пакета SciKit и средств классификации текста для профилирования поведения клиентов

NLPub — каталог лингвистических ресурсов для обработки русского языка

AppGyver [Prototyper]

AppGyver позволяет создавать интерактивные прототипы мобильных приложений без обширных знаний в программировании. Главной целевой аудиторией своего продукта разработчики считают дизайнеров и продукт-менеджеров, которым нужно быстро создавать новые варианты интерфейсов в ходе обновления версий и доработки своих собственных приложений. Просматривать и изучать готовые прототипы в работе можно на мобильных устройствах на базе платформы iOS.

Несмотря на существование буквально сотен конструкторов приложений в режиме «сделай сам», подавляющее большинство таких конструкторов рассчитаны либо на тех, кто хоть немного разбирается в написании кода, либо построено на перетаскивании готовых компонентов в макет несложного приложения или мобильного web-сайта. Отличие технологии AppGyver («АппГайвер», как имя популярного киногероя МакГайвера) заключается в том, что она создает не готовые приложения, а лишь их прототипы, на которых удобно оценивать логику поведения программ.

http://www.appgyver.com/supersonic