Разработка и программная реализация тематического парсера сайтов

Постоянный рост сети Интернет и увеличение ресурсов, накопление информации нуждается в постоянных средствах автоматизации ее обработки и получения. Без Интернет на данный момент невозможно существование полноценной информационной системы, он прочно вошел в жизнь домашних и корпоративных пользователей. Ежемесячно размер сети увеличивается на 7-10%. Поэтому задача автоматического сбора информации из заданных источников актуальна как никогда. Автоматический сбор информации, парсинг и граббинг применяется в таких направлениях, как: • практически на любом сайте при валидации входных данных: Email’а, телефонного номера, номера кредитки; • в SEO (продвижении ресурса) для получения статистики запроса поисковых систем; • в SMO (продвижении в социальных сетях) для сбора информации о пользователях; • в веб-разработках для автопополнения контента; • для контроля и наблюдения за работой удаленных устройств – опрос удаленных ресурсов. Парсинг контента очень популярен, при этом он применяется как владельцами небольших и развивающихся сайтов, так и крупными компаниями в целях сбора контента, отслеживания тематических статей, баз для рерайтинга. Даже крупные компании, такие как Google, для новостей используют, в основном информацию со специализированных порталов информационных агентств – Лента.ру, РИА Новости, РБК, Утро.ру и т.д. Хотя иногда некоторые сайты могут закрывать свой контент, именно парсинг новостей, согласно Статье 1259. «Объекты авторских прав» Гражданского кодекса РФ, является вполне законным. Согласно ГК РФ, сообщения о событиях и фактах, имеющие исключительно информационный характер (сообщения о новостях дня, программы телепередач, расписания движения транспортных средств и тому подобное), не являются объектами авторских прав. Однако является правильным ссылаться на информационный источник. К тому же, многие сайты, публикующие новости, размещают у себя только анонс основных новостей, оставляя ссылки на подробную информацию в источнике. В отношении парсинга контента в общем, законность зависит от позиции правообладателя, выраженной в виде условий на исходной странице. Некоторые сайты допускают копирование, некоторые не допускают без письменного разрешения, многие сайты допускают без разрешений, но со ссылкой. Тем не менее, в целом авторское право в данной области, за исключением приведенного примера, нередко бывает трудно определимым и спорным. Однако, несмотря на это, парсинг активно используется в различных целях, и является удобным инструментом для автоматического сбора и обработки информации….