IgorKa - Информационный ресурс

В статье Команда wget - пример использования был показан простенький пример использования команды wget в цикле while для закачки нескольких файлов. В комментариях к этой статье посетитель Иван спрашивал как можно с помощью wget выкачать фотографии с сайта http://photo.rdx.cz/index.php?show=album&aid=412 и через некоторое время сам же написал ответ. Вот эта команда:

Не все в этой конструкции для меня в ней было понятно, поэтому решил когда будет время разобрать ее. Время нашлось (пришлось немного погуглить и даже на форум http://www.cyberforum.ru/freebsd/ один раз занесло) и ниже идет пояснение как работает эта составная команда. Пример разбирался в Ubuntu 10.04. Если где ошибся - поправляйте. Итак, начну по частям.

Ключ -q - отключает вывод служебной информации wget. То есть чтобы не выводился текст примерно следующего содержания:

С ключом q эта информация выводится не будет.

Опция O - позволяет записать результат команды wget в файл, а если вместо имени файла подставить знак “минус” (O-), то вывод будет направлен в stdout и по умолчанию отобразится на экране. То есть в данном случае, страница http://photo.rdx.cz/index.php?show=album&aid=412 не будет сохранена на диске, а будет выведена (содержимое страницы) в stdout на экран.

Далее идет команда

Команда egrep (аналог команды grep -E) позволяет фильтровать входящий поток. В данном случае с использованием расширенных регулярных выражений. Если посмотреть содержимое страницы http://photo.rdx.cz/index.php?show=album&aid=412, то там мы видим ссылки на фотографии которые имеют вид:

То есть ссылки однотипны и меняется только число. Описать данную строку нужно заменив число на выражение [0-9]+. Знак “плюс” означает, что предыдущее выражение встречается один или более раза. То есть, чтобы не писать конструкцию вида [0-9][0-9][0-9][0-9][0-9], более лаконично можно записать как [0-9]+.

Команда

выведет на экран все ссылки на фотографии:

Теперь зная все ссылки на фотографии нужно перейти по каждой из них, чтобы узнать реальный адрес файла jpg. Если перейти по ссылке http://photo.rdx.cz/index.php?show=photo&pid=12075&aid=412 и посмотреть ее исходный код (команда ctrl+U) в браузере, то увидим такую строку

Эта ссылка с добавлением имени сайта (получается вот так - http://photo.rdx.cz/showphoto/816p12075.jpg) и есть прямая ссылка на фотографию которую нам нужно получить и передать еще одной команде wget для закачки. Продолжаем.

Сначала извлечем из полученных строк числа. Для этого используем команду sed:

sed - это мощная утилита которая позволяет обрабатывать построчно текстовую информацию. В данном случае имеет место один из самых распространенных вариантов использования sed: sed s/regexp/replacement/. При такой записи, sed будет искать строки которые содержат regexp и заменять их на выражение replacement.

В данном примере, в качестве regexp будет, выражение .*pid=\([0-9]*\).*. В этом выражении используется конструкция \([0-9]*\). \(…\) - это служебное выражение, которое используется для того, чтобы выделить часть regexp. В качестве replacement можно использовать выражение вида \n, где n - это число от 1 до 9, которое обозначает порядковый номер конструкции \(…\). В нашем выражении она одна, поэтому в качестве replacemen записано \1. Таким образом получается, что все строки которые соответствуют выражению .*pid=\([0-9]*\).* (а ему соответствуют все строки) будут заменены на выражение [0-9]*, а это и есть искомое число. Выполнив команду:

получаем на выходе искомые числа.

Теперь рассмотрим следующую конструкцию

Она по сути аналогична той которую мы рассматривали в самом начале. Та же связка wget, egrep, sed. $num - будет возвращать числа которые мы выбрали с помощью первой конструкции wget, egrep, sed. Откуда взялось $num чуть позже.

egrep -o ‘”showphoto/.+jpg”‘ - ищет строку вида “showphoto/81p12077.jpg”, а sed ’s/”//g’ - убирает в данной строке все двойные кавычки. В результате получается строка вида showphoto/81p12077.jpg, которая возвращается благодаря конструкции “$()”.

Теперь смотрим последний фрагмент:

Данная конструкция (while read num) будет принимать строки, которые были определены первой связкой wget, egrep, sed и обрабатывать их в цикле. То есть команда read (это встроенная команда bash) будет принимать строку (присваивать ее значение переменной num) и затем будет выполнена команда wget -P photo.rdx http://photo.rdx.cz/”$()”, которая скопирует фотографию в каталог photo.rdx. Так как команда read находится в цикле (while), то будет получена следующая строка и т.д.

Не знаю удалось ли мне доступно расшифровать для вас весь этот блок, но я старался :)
Кстати, участок egrep -o ‘”showphoto/.+jpg”‘ | sed ’s/”//g’ именно в данном конкретном примере можно немного сократить заменив его на egrep -o ’showphoto/.+[0-9].jpg’ убрав при этом команду sed.