Блог

Обо мне

Последнее время мне очень часто приходится парсить страницы разных сайтов. Когда я начинал изучать эту тему, то заметил, что есть 2 подхода к анализу контента страницы: анализ регулярными выражениями и с помощью phpQuery. Будучи не сторонником использования чужих библиотек я выбрал 1ый путь.

Разбираемся в регулярках

Начнем с описания синтаксиса регулярных выражений.

Разберем простейший шаблон:

<(h1|h2|h3)><a href=”(.*?)”>(.*?)</a></(h1|h2|h3)>

( ) является подшаблоном знак | означает или, то есть подшаблон (h1|h2|h3) означает вхождение или h1, или h2, или h3. Точка в подшаблоне (.*?) обозначает любой символ. * - неограниченное количество совпадений. А ? оптимизирует и минимизирует, но об этом позже. Кроме того в preg_match этот подшаблон отвечает за искомый фрагмент текста.

В регулярных выражениях существует еще и другой тип шаблонов: #шаблон#

#a|z# означает вхождение a или z.

Совпадает в строках:

Abraham J. Simpson

go to the zoo

и не совпадает в строке

Home sweet home (нет ни a, ни z)

#ˆa# - символ находится в начале строки

#т$# - символ находится в конце строки

Можно также указать количество совпадений.

{ } - эти знаки в шаблоне обозначают сколько раз должно быть совпадение

? тоже самое, что и {0,1} - ноль или один раз
* тоже самое, что и {0, } - ноль или более раз

+ тоже самое, что и {1, } - один или более раз

первая цифра-минимальное количество совпадений, вторая — максимальное(если её нет, то бесконечное количество).

Кроме этого, классы символов можно обозначать так:
[[:alnum:]] - все алфавитно-цифровые символы [a-zA-Z0-9]
[[:alpha:]] - все алфавитные символы [a-zA-Z]
[[:blank:]] - символ табуляции и пробел [t ]
[[:cntrl:]] - все управляющие символы
[[:digit:]] - все десятичные цифры [0-9]
[[:graph:]] - все печатные символы, за исключением пробела
[[:lower:]] - все строчные буквы [a-z]
[[:upper:]] - все прописные буквы [A-Z]
[[:print:]] - все печатные символы
[[:punct:]] - все знаки препинания [.,;:-.,;:-]
[[:space:]] - все пустые символы
[[:xdigit:]] - все шестнадцатиричные цифры

точка. — любой символ(. - только точка).

Модификаторы:

ставятся после шаблона, например #шаблон#i

i - игнорировать регистр
s - метасимвол '.' соответствует и символу n (перевод каретки), то есть классу [-xFF-xFF]
U - минимизировать числитель, то есть искать как можно меньше совпадений, похоже на действие ?.
m - претензии 'ˆ' и '$' учитывают [n]
D - претензия '$' не учитывает [n]
A - привязать шаблон к началу текста
x - разрешить комментарии: пробел и #
X - воспринимать неверную подстановку как ошибку.
S - предварительная оптимизация шаблона
e - используется в функции 'preg_replace' для ее активации

Регулярные выражения в действии

И так, немного разобравшись в теории, преступим к практике.

Решим легонькую задачку - найти все ссылки на странице:

Основой кода является выражение "/<a[[:print:]]href=["|'](.*?)["|'].*?>(.*?)<.{0,1}a.{0,1}>/i"

давайте разберем его:

первым делом ищем тег ссылки: <a[[:print:]]href=["|'](.*?)["|'].*?> нам нужен только url, но к сожалению обойтись выражением типа <a href=”(.*?)”> не удастся. Во-первых в теге могут присутствовать разного рода включения(типа style или onclick), от них избавляемся шаблоном [[:print:]], а во-вторых неизвестно какие кавычки будут ограничивать адрес(используем шаблон ["|']-или " или ').

Текст ссылки берем шаблоном (.*?), а на закрывающий тег натравливаем <.{0,1}a.{0,1}> так как не знаем куда вебмастер поставит символ /. Естественно необходимо применить модификатор i чтоб не думать о регистре.

Думаю теперь вам под силу отпарисить любую страницу, если возникнут трудности, пишите, помогу.