Kitörölt botok

Szerző
Üzenet
Marcee
Adminisztrátor
Adminisztrátor
Avatar

Csatlakozott: 2006.01.17. Kedd 1:00
Hozzászólások: 2921
Hozzászólás Elküldve: 2012.01.21. 21:53    Hozzászólás témája:
Hozzászólás az előzmény idézésével
Elnézést, jól eltűntem. Sajnos a munkám miatt nem tudtam a fórummal foglalkozni a héten.

Ha egyenként lefuttatod ezt a két SQL lekérdezést, akkor milyen számot adnak vissza?

Kód:

SELECT COUNT(*) FROM phpbb_bots

Kód:

SELECT COUNT(*) FROM phpbb_users WHERE group_id = 6

Ezekkel meg lehetne tudni, hogy az elképzelhető két hely közül honnan hiányoznak a robotok bejegyzései.

Felhasználó profiljának megtekintése Privát üzenet küldése
Ragadozo
Gyakorlott phpBB-s
Gyakorlott phpBB-s
Avatar

Csatlakozott: 2008.05.08. Csütörtök 18:26
Hozzászólások: 638
Hozzászólás Elküldve: 2012.10.18. 22:44    Hozzászólás témája:
Hozzászólás az előzmény idézésével
Marcee által berakott php-t kicsit kiegészítettem még futtatás előtt, így összesen 157 robot van benne (névsorba raktam).
Elsőre hibátlanul lefutott 3.0.11 alatt! :)

Ha valakit érdekel:

Kód:

<?php
/**
*
* @package phpBB3
* @version $Id$
* @copyright (c) 2005 phpBB Group
* @license http://opensource.org/licenses/gpl-license.php GNU Public License
*
*/

/**
* Class holding all convertor-specific details.
* @package install
*/
class convert
{
   var $truncate_statement = 'DELETE FROM ';
}

/**
* Add the search bots into the database
* This code should be used in execute_last if the source database did not have bots
* If you are converting bots this function should not be called
* @todo We might want to look at sharing the bot list between the install code and this code for consistancy
*/
function add_bots()
{
   global $db, $convert, $user, $config, $phpbb_root_path, $phpEx;

   $db->sql_query($convert->truncate_statement . BOTS_TABLE);

   $sql = 'SELECT group_id FROM ' . GROUPS_TABLE . " WHERE group_name = 'BOTS'";
   $result = $db->sql_query($sql);
   $group_id = (int) $db->sql_fetchfield('group_id', false, $result);
   $db->sql_freeresult($result);

   if (!$group_id)
   {
      add_default_groups();

      $sql = 'SELECT group_id FROM ' . GROUPS_TABLE . " WHERE group_name = 'BOTS'";
      $result = $db->sql_query($sql);
      $group_id = (int) $db->sql_fetchfield('group_id', false, $result);
      $db->sql_freeresult($result);

      if (!$group_id)
      {
         global $install;
         $install->error($user->lang['CONV_ERROR_INCONSISTENT_GROUPS'], __LINE__, __FILE__);
      }
   }

   $bots = array(
      '123spider'                  => array('123spider-Bot', ''),      
      '24spider'                  => array('24spider-Robot', ''),      
      'Accoona'                  => array('Accoona-AI-Agent/', ''),      
      'AdsBot [Google]'             => array('AdsBot-Google', ''),                  
      'Alexa [Bot]'                   => array('ia_archiver', ''),                  
      'Alta Vista [Bot]'             => array('Scooter/', ''),                     
      'Ask Jeeves [Bot]'             => array('Ask Jeeves', ''),                     
      'ASPseek'                  => array('ASPseek/', ''),      
      'Baidu [Spider]'                => array('Baiduspider+(', ''),                     
      'Become'                  => array('become.com/', ''),      
      'Bing [Bot]'                    => array('bingbot/', ''),                  
      'Boitho'                  => array('boitho.com-dc/', ''),      
      'Bunnybot'                  => array('powered by www.buncat.de', ''),      
      'Cometrics'                  => array('cometrics-bot,', ''),      
      'Cosmix'                  => array('cfetch/', ''),      
      'Crawler Search'            => array('.Crawler-Search.de', ''),            
      'Crawler0.1 [Crawler]'         => array('Crawler0.1', ''),               
      'Diggit!'                  => array('Digger/', ''),      
      'EchO!'                     => array('EchO!/', ''),   
      'EliteSys'                  => array('EliteSys SuperBot/', ''),      
      'Esperanza'                  => array('EsperanzaBot', ''),      
      'Exabot [Bot]'                   => array('Exabot/', ''),                  
      'Fast Crawler Gold'            => array('Fast Crawler Gold Edition', ''),            
      'FAST Enterprise [Crawler]'    => array('FAST Enterprise Crawler', ''),                     
      'FAST FirstPage retriever'      => array('FAST FirstPage retriever', ''),                  
      'FAST MetaWeb'               => array('FAST MetaWeb Crawler', ''),         
      'Fast PartnerSite'            => array('Fast PartnerSite Crawler', ''),            
      'FAST WebCrawler [Crawler]'     => array('FAST-WebCrawler/', ''),                        
      'Findexa Crawler'            => array('Findexa Crawler (', ''),            
      'Francis [Bot]'                  => array('http://www.neomo.de/', ''),                  
      'g2'                     => array('g2Crawler', ''),   
      'GBSpider'                  => array('GBSpider v', ''),      
      'GeigerzaehlerBot'            => array('http://www.geigerzaehler.org/bot.html', ''),            
      'genie'                     => array('genieBot (', ''),   
      'GeoBot'                  => array('GeoBot/version', ''),      
      'Gigablast'                  => array('gigablast.com/', ''),      
      'Gigabot [Bot]'                  => array('Gigabot/', ''),                     
      'Google [Bot]'                  => array('Googlebot', ''),                  
      'Google Adsense [Bot]'         => array('Mediapartners-Google', ''),                     
      'Google Desktop'               => array('Google Desktop', ''),                     
      'Google Feedfetcher'            => array('Feedfetcher-Google', ''),                  
      'Google Python URL fetcher'      => array('Python-urllib/', ''),                  
      'Google Search Appliance'      => array('gsa', ''),                  
      'Google Sitemap [bot]'         => array('GSMA/', ''),               
      'Gooro'                     => array('Gooru-WebSpider', ''),   
      'hbtronix [spider]'            => array('hbtronix.spider', ''),            
      'Heise IT-Markt [Crawler]'      => array('heise-IT-Markt-Crawler', ''),                     
      'Heritrix [Crawler]'            => array('heritrix/1.', ''),                  
      'Hogsearch'                  => array('oegp v. ', ''),      
      'Houxou'                  => array('HouxouCrawler/', ''),      
      'HP Web PrintSmart'            => array('HP Web PrintSmart', ''),            
      'IBM Research [Bot]'            => array('ibm.com/cs/crawler', ''),                  
      'ICCrawler - ICjobs'            => array('ICCrawler - ICjobs', ''),                  
      'ichiro [Crawler]'               => array('ichiro/2', ''),                  
      'Indy Library [Bot]'         => array('Indy Library', ''),               
      'InfoSeek SideWinder'         => array('Infoseek SideWinder/', ''),               
      'Inktomi'                  => array('Inktomi', ''),      
      'Insuranco'                  => array('InsurancoBot', ''),      
      'InternetSeer'               => array('InternetSeer', ''),         
      'IPG'                     => array('internet-provider-guenstig.de-Bot', ''),   
      'IRLbot'                  => array('http://irl.cs.tamu.edu/crawler', ''),      
      'ISC Systems iRc Search'      => array('ISC Systems iRc Search', ''),                  
      'Java [Bad bot]'            => array('Java/', ''),            
      'Jyxobot'                  => array('Jyxobot/', ''),      
      'Kraehe'                  => array('-DIE-KRAEHE- META-SEARCH-ENGINE/', ''),      
      'Kraehe [Metasuche]'         => array('-DIE-KRAEHE- META-SEARCH-ENGINE/', ''),               
      'Larbin [bot]'               => array('larbin_2.6.3', ''),         
      'libwww-perl'               => array('libwww-perl', ''),         
      'LinkWalker'               => array('LinkWalker', ''),         
      'Lycos [spider]'            => array('Lycos_Spider_', ''),            
      'Majestic-12 [Bot]'            => array('MJ12bot/', ''),                     
      'Marvin Medhunt'            => array('Marvin', ''),            
      'McSeek'                  => array('powered by www.McSeek.de', ''),      
      'Metager [Bot]'                  => array('MetagerBot/', ''),                  
      'Mirago'                  => array('HeinrichderMiragoRobot (', ''),      
      'MMSBot'                  => array('http://www.mmsweb.at/bot.html', ''),      
      'MP3-Bot'                  => array('MP3-Bot', ''),      
      'MSN [Bot]'                     => array('msnbot/', ''),                  
      'MSN NewsBlogs'                  => array('msnbot-NewsBlogs/', ''),                  
      'MSNbot Media'                  => array('msnbot-media/', ''),                  
      'MWI [bot]'                  => array('MWI-UCE-Checker', ''),      
      'Naver'                     => array('nhnbot@naver.com', ''),   
      'NetResearchServer'            => array('NetResearchServer/', ''),            
      'NetSprint'                  => array('NetSprint', ''),      
      'NG-Search [Bot]'               => array('NG-Search/', ''),                  
      'Nimble'                  => array('NimbleCrawler', ''),      
      'Nutch [Bot]'                  => array('http://lucene.apache.org/nutch/', ''),                  
      'Nutch/CVS [Bot]'               => array('NutchCVS/', ''),                  
      'Ocelli'                  => array('Ocelli/', ''),      
      'OmniExplorer [Bot]'            => array('OmniExplorer_Bot/', ''),                  
      'Onet'                     => array('OnetSzukaj', ''),   
      'Online link [Validator]'      => array('online link validator', ''),                     
      'Openfind'                  => array('openfind.com', ''),      
      'OrangeSpider'               => array('OrangeSpider', ''),         
      'Orbiter'                  => array('http://www.dailyorbit.com/bot.htm', ''),      
      'over-zealus [bot]'            => array('Opera/5.0 (Windows NT 4.0;US)', ''),            
      'Pagebull'                  => array('Pagebull', ''),      
      'panscient [spider]'         => array('panscient.com', ''),               
      'PHP version tracker'         => array('PHP version tracker', ''),               
      'Picsearch'                  => array('psbot/', ''),      
      'PlantyNet'                  => array('PlantyNet_WebRobot_V', ''),      
      'psbot [Picsearch]'            => array('psbot/0', ''),                     
      'Rambler'                  => array('StackRambler/', ''),      
      'Robozilla'                  => array('Robozilla/', ''),      
      'SBIder [bot]'               => array('SBIder/', ''),         
      'Scumbot'                  => array('Scumbot/', ''),      
      'Seekport [Bot]'               => array('Seekbot/', ''),                  
      'Sensis [Crawler]'               => array('Sensis Web Crawler', ''),                  
      'SEO Crawler'                  => array('SEO search Crawler/', ''),                  
      'Seoma [Crawler]'               => array('Seoma [SEO Crawler]', ''),                  
      'SEOSearch [Crawler]'            => array('SEOsearch/', ''),                  
      'Seznam [Bot]'               => array('SeznamBot', ''),         
      'Singingfish Asterias'         => array('Asterias', ''),               
      'SnapPreview [bot]'            => array('SnapPreviewBot', ''),            
      'Snappy [Bot]'                  => array('Snappy/1.1 ( http://www.urltrends.com/ )', ''),                  
      'Sogou [Bot]'               => array('Sogou web spider', ''),         
      'Speedy [spider]'            => array('Speedy Spider', ''),            
      'Steeler [Crawler]'            => array('http://www.tkl.iis.u-tokyo.ac.jp/~crawler/', ''),                     
      'suchpad'                  => array('http://www.suchpad.de/bot/', ''),      
      'SurveyBot'                  => array('SurveyBot/', ''),      
      'Susie [Sync]'               => array('!Susie', ''),         
      'Sygol'                     => array('SygolBot', ''),   
      'Synoo [Bot]'                  => array('SynooBot/', ''),                  
      'Szukacz'                  => array('szukacz', ''),      
      'Tbot'                     => array('Tbot/', ''),   
      'Telekom [Bot]'                  => array('crawleradmin.t-info@telekom.de', ''),                  
      'Thumbshots [Capture]'         => array('thumbshots-de-Bot', ''),               
      'TurnitinBot [Bot]'            => array('TurnitinBot/', ''),                     
      'Twiceler'                  => array('Twiceler www.cuill.com/robots.html', ''),      
      'Vagabondo'                  => array('http://webagent.wise-guys.nl/', ''),      
      'Vestris Alkaline'            => array('AlkalineBOT/', ''),            
      'VoilaBot [Bot]'            => array('VoilaBot', ''),            
      'Voyager [Bot]'                  => array('voyager/1.0', ''),                  
      'W3 [Sitesearch]'               => array('W3 SiteSearch Crawler', ''),                  
      'W3C [Linkcheck]'               => array('W3C-checklink/', ''),                  
      'W3C [Validator]'               => array('W3C_*Validator', ''),                  
      'Walhello'                  => array('appie', ''),      
      'Webmeasurement'            => array('webmeasurement-bot,', ''),            
      'WiseNut [Bot]'                  => array('http://www.WISEnutbot.com', ''),                  
      'WissenOnline'               => array('WissenOnline-Bot', ''),         
      'WWWeasel'                  => array('WWWeasel Robot v', ''),      
      'Xaldon'                  => array('Xaldon WebSpider', ''),      
      'XML Sitemap Generator [bot]'   => array('XML Sitemaps Generator', ''),                     
      'YaCy [Bot]'                  => array('yacybot', ''),                  
      'Yahoo [Bot]'                  => array('Yahoo! Slurp', ''),                  
      'Yahoo MMCrawler [Bot]'         => array('Yahoo-MMCrawler/', ''),                     
      'Yahoo Slurp [Bot]'            => array('Yahoo! DE Slurp', ''),                     
      'Yahoo! Blogs'               => array('Yahoo-Blogs', ''),         
      'Yahoo! Feed Seeker'         => array('YahooFeedSeeker', ''),               
      'Yahoo! Mindset'            => array('Yahoo! Mindset', ''),            
      'Yahoo! Multimedia'            => array('Yahoo-MM', ''),            
      'Yahoo! Search Marketing'      => array('crawlx', ''),                  
      'Yahoo! SpiderMan'            => array('SpiderMan', ''),            
      'Yahoo! Test'               => array('Yahoo-Test', ''),         
      'Yahoo! VerticalCrawler'      => array('Yahoo-VerticalCrawler', ''),                  
      'YahooSeeker [Bot]'            => array('YahooSeeker/', ''),                     
      'Zerx'                     => array('zerxbot/', ''),         
   );

   if (!function_exists('user_add'))
   {
      include($phpbb_root_path . 'includes/functions_user.' . $phpEx);
   }

   foreach ($bots as $bot_name => $bot_ary)
   {
      $user_row = array(
         'user_type'            => USER_IGNORE,
         'group_id'            => $group_id,
         'username'            => $bot_name,
         'user_regdate'         => time(),
         'user_password'         => '',
         'user_colour'         => '9E8DA7',
         'user_email'         => '',
         'user_lang'            => $config['default_lang'],
         'user_style'         => 1,
         'user_timezone'         => 0,
         'user_allow_massemail'   => 0,
      );

      if (!validate_username($bot_name))
      {
         $user_id = user_add($user_row);

         if ($user_id)
         {           
            $sql = 'INSERT INTO ' . BOTS_TABLE . ' ' . $db->sql_build_array('INSERT', array(
               'bot_active'   => 1,
               'bot_name'      => $bot_name,
               'user_id'      => $user_id,
               'bot_agent'      => $bot_ary[0],
               'bot_ip'      => $bot_ary[1])
            );
            $db->sql_query($sql);
         }
      }
   }
}

/**
* Add any of the pre-defined "special" groups which are missing from the database
*/
function add_default_groups()
{
   global $db;

   $default_groups = array(
      'GUESTS'         => array('', 0, 0),
      'REGISTERED'      => array('', 0, 0),
      'REGISTERED_COPPA'   => array('', 0, 0),
      'GLOBAL_MODERATORS'   => array('00AA00', 1, 0),
      'ADMINISTRATORS'   => array('AA0000', 1, 1),
      'BOTS'            => array('9E8DA7', 0, 0),
      'NEWLY_REGISTERED'      => array('', 0, 0),
   );

   $sql = 'SELECT *
      FROM ' . GROUPS_TABLE . '
      WHERE ' . $db->sql_in_set('group_name', array_keys($default_groups));
   $result = $db->sql_query($sql);

   while ($row = $db->sql_fetchrow($result))
   {
      unset($default_groups[strtoupper($row['group_name'])]);
   }
   $db->sql_freeresult($result);

   $sql_ary = array();

   foreach ($default_groups as $name => $data)
   {
      $sql_ary[] = array(
         'group_name'         => (string) $name,
         'group_desc'         => '',
         'group_desc_uid'      => '',
         'group_desc_bitfield'   => '',
         'group_type'         => GROUP_SPECIAL,
         'group_colour'         => (string) $data[0],
         'group_legend'         => (int) $data[1],
         'group_founder_manage'   => (int) $data[2]
      );
   }

   if (sizeof($sql_ary))
   {
      $db->sql_multi_insert(GROUPS_TABLE, $sql_ary);
   }
}

/**
* @ignore
*/
define('IN_PHPBB', true);
$phpbb_root_path = (defined('PHPBB_ROOT_PATH')) ? PHPBB_ROOT_PATH : './';
$phpEx = substr(strrchr(__FILE__, '.'), 1);
include($phpbb_root_path . 'common.' . $phpEx);

// Start session management
$user->session_begin();
$auth->acl($user->data);
$user->setup();

$convert = new convert();
add_bots();
echo 'Kész, a fájl törölhető.';

?>

Felhasználó profiljának megtekintése Privát üzenet küldése Email küldése Felhasználó weblapjának megtekintése
KillBill
Gyakorlott phpBB-s
Gyakorlott phpBB-s
Avatar

Csatlakozott: 2007.03.26. Hétfő 5:42
Hozzászólások: 2258
Hozzászólás Elküldve: 2012.10.19. 05:29    Hozzászólás témája:
Hozzászólás az előzmény idézésével
Én nem vagyok benne biztos, hogy ez így jó "'user_style' => 1, " mi a garancia arra, hogy a felhasználó nem törölte a megjelenéseket és újakat telepített fel?

szerintem itt a korrekt érték a $config[default_style] lenne ez tuti az alap megjelenést fogja betölteni a botok számára, az 1 meg hibát fog generálni, ha nincs ilyen megjelenés.

Kód:

'user_style' => $config[default_style],

Felhasználó profiljának megtekintése Privát üzenet küldése Felhasználó weblapjának megtekintése MSN Messenger
Ragadozo
Gyakorlott phpBB-s
Gyakorlott phpBB-s
Avatar

Csatlakozott: 2008.05.08. Csütörtök 18:26
Hozzászólások: 638
Hozzászólás Elküldve: 2012.10.19. 08:50    Hozzászólás témája:
Hozzászólás az előzmény idézésével
KillBill valamit nem értek, de remélem elmagyarázod (vagy valaki más). :)

Nekem eleve nem lehet 'user_style' => 1, mivel annyit variáltam, hogy ezek az értékek már 29 - 34 között vannak. 6 db stílus van fenn, ebből most 3 aktív, a prime_quick_style segítségével majdnem bárhol át lehet váltani.
Ennek ellenére egyik stílusban sem kapok hibaüzenetet.

Amit viszont most vettem észre:

Tegnap a robotok telepítése előtt elfelejtettem menteni a php fájlt, így csak az új robotok voltak benne.
A gépemen volt 51 robot az user táblában, és a robotok csoportban.

Miután lefuttattam azt a php fájlt, "hozzá adtam" 101 új robotot, ami a robotok csoportban meg is jelent gond nélkül, ott most 157 aktív robot szerepel.
Viszont a phpbb_bots táblában csak ezek az új robotok vannak, pontosan 101.
A phpbb_user táblába pedig az újak közül egyetlen egy sem került bele, de a régiek ott vannak.

Vissza nézve régebbi mentést, én azt látom, hogy ez a php nem adta hozzá az új robotokat, hanem a phpbb_bots táblát kiürítette, majd feltöltötte az új robotokkal, viszont nem nyúlt hozzá a phpbb_users táblához.

Tegnap ez fel sem tűnt, mivel csak a robotok csoportot néztem meg, és ott megvolt a 157 robot.

Felhasználó profiljának megtekintése Privát üzenet küldése Email küldése Felhasználó weblapjának megtekintése
KillBill
Gyakorlott phpBB-s
Gyakorlott phpBB-s
Avatar

Csatlakozott: 2007.03.26. Hétfő 5:42
Hozzászólások: 2258
Hozzászólás Elküldve: 2012.10.19. 15:45    Hozzászólás témája:
Hozzászólás az előzmény idézésével

Ragadozo írta:

KillBill

Nekem eleve nem lehet 'user_style' => 1
Pont ezért írtam, hogy ez az érték megadása rossz a scriptben.

Ragadozo írta:

Ennek ellenére egyik stílusban sem kapok hibaüzenetet.
te nem is fogsz, ez a robotokat fogja érinteni :wink:

Felhasználó profiljának megtekintése Privát üzenet küldése Felhasználó weblapjának megtekintése MSN Messenger
Ragadozo
Gyakorlott phpBB-s
Gyakorlott phpBB-s
Avatar

Csatlakozott: 2008.05.08. Csütörtök 18:26
Hozzászólások: 638
Hozzászólás Elküldve: 2012.10.19. 19:07    Hozzászólás témája:
Hozzászólás az előzmény idézésével
És van annak valami jelentősége, hogy a robotok egy része az phpbb_users táblában, másik része meg a phpbb_bots táblában van?

Ráadásul a phpbb_bots táblában nincs is user_style oszlop, csak user_id van.

Felhasználó profiljának megtekintése Privát üzenet küldése Email küldése Felhasználó weblapjának megtekintése
KillBill
Gyakorlott phpBB-s
Gyakorlott phpBB-s
Avatar

Csatlakozott: 2007.03.26. Hétfő 5:42
Hozzászólások: 2258
Hozzászólás Elküldve: 2012.10.19. 20:35    Hozzászólás témája:
Hozzászólás az előzmény idézésével

Ragadozo írta:

És van annak valami jelentősége, hogy a robotok egy része az phpbb_users táblában, másik része meg a phpbb_bots táblában van?
hogyne lenne, a jelentősége csak annyi, hogy rossz!

ha a bots táblában 150 bot van akkor az users táblában is annyinak kéne lennie.

Ragadozo írta:

Ráadásul a phpbb_bots táblában nincs is user_style oszlop, csak user_id van.
Az user_style sor csak az users táblában szerepel hisz az tárolja a felhasználók beállításait.

Felhasználó profiljának megtekintése Privát üzenet küldése Felhasználó weblapjának megtekintése MSN Messenger
Ragadozo
Gyakorlott phpBB-s
Gyakorlott phpBB-s
Avatar

Csatlakozott: 2008.05.08. Csütörtök 18:26
Hozzászólások: 638
Hozzászólás Elküldve: 2013.03.02. 20:39    Hozzászólás témája:
Hozzászólás az előzmény idézésével
Ma már el lehet mondani, hogy nem az információ hiánya jelenti a nagyobb problémát, hanem a szükséges ismeretnek az egyre nagyobb internetes információhalmazban való megtalálása. Erre a megoldást többek között a jóindulatú Web-Robotok jelentik.

Természetesen mindenki a saját belátása szerint vélekedik, és használja - nem használja ki a web-robotok adta lehetőséget. Aki "idegenkedik" ennek használatától, vagy a fórum tartalma miatt nem is szeretné nagyon publikussá tenni az oldalát, az akár le is tilthatja, hogy az oldalára a kereső robotok egyáltalán be se nézhessenek.
Aki viszont szeretné saját előnyére fordítani ezt a lehetőséget, érdemes ezt a fájlt feltölteni, és lefuttatni.

Ragadozo régebben írta:

Marcee ajánlását kicsit módosítottam, KillBill nagyon jó kis ötletét is beleraktam, és most már jó lett. :)

Röviden:
Különböző egyéb frissítések után később még két alkalommal lefuttattam a robotok.php-t, semmi változást nem okozott sem az oldalon, sem az adatbázisban, mivel új adatok nem voltak benne, a régiekhez meg nem nyúlt.

Ha valakit érdekel, innen letölthető:
WEB-Robotok -- [Crawler] - [Bot]

Használata:
A fórum gyökerébe feltölteni a robotok.php-t, és lefuttatni, de előtte azért a biztonság kedviért egy teljes adatbázis mentés nem árt!
Update:

A WEB-robotok listája frissítésre került, jelenleg 600 db [Bot] szerepel benne.
Akit érdekel, az idézetben jelzett linken letölthető.

Természetesen ettől még nem fognak egyből mind az oldalra tódulni, idő kell nekik, míg megtalálják az oldalt. De a telepítés után pár órával már megjelent egy-két olyan kereső robot is az oldalamon, amelyeket azelőtt még soha sem láttam.



A hozzászólás legutóbb Ragadozo által 2013.06.20. 15:07-kor lett szerkesztve, összesen 1 alkalommal.

Felhasználó profiljának megtekintése Privát üzenet küldése Email küldése Felhasználó weblapjának megtekintése
Marcee
Adminisztrátor
Adminisztrátor
Avatar

Csatlakozott: 2006.01.17. Kedd 1:00
Hozzászólások: 2921
Hozzászólás Elküldve: 2013.03.02. 21:02    Hozzászólás témája:
Hozzászólás az előzmény idézésével
Vagy lehet, hogy láttál, csak akkor a fórum még nem tudta őket keresőrobotként beazonosítani, ezért csak a vendégeknél szerepeltek :)

Felhasználó profiljának megtekintése Privát üzenet küldése
Ragadozo
Gyakorlott phpBB-s
Gyakorlott phpBB-s
Avatar

Csatlakozott: 2008.05.08. Csütörtök 18:26
Hozzászólások: 638
Hozzászólás Elküldve: 2013.03.02. 21:23    Hozzászólás témája:
Hozzászólás az előzmény idézésével
Lehetséges .... :D :D

De ahogy én látom, mintha ebben sem lenne valami nagy összhang, mintha valami szürke ködbe burkolózna némelyik.
Egyes Botokat nagyon nehéz megtalálni, sőt van olyan, amelyiket nem is sikerült, bár tudom, hogy létezik, mert látom egyes külföldi oldalakon megjelenni.
Van olyan, amelyik meg már vagy 3 féle változatban szerepel, nagyjából mindegyiknél más az UserAgent, vagy a tartomány, vagy más, esetleg szükséges adat, és nagyon nehéz kibogarászni, melyik a friss, valóságos adat, vagy melyik a régi, esetleg már nem is létező verzió.
Van, amelyiknél például a Modified Date 1996-os évre mutat, pedig standard kereső. :)

Felhasználó profiljának megtekintése Privát üzenet küldése Email küldése Felhasználó weblapjának megtekintése
KillBill
Gyakorlott phpBB-s
Gyakorlott phpBB-s
Avatar

Csatlakozott: 2007.03.26. Hétfő 5:42
Hozzászólások: 2258
Hozzászólás Elküldve: 2013.03.03. 12:56    Hozzászólás témája:
Hozzászólás az előzmény idézésével
Ezer köszönet az új Bot(okért), így már közel 700 van nékem :wink:

Felhasználó profiljának megtekintése Privát üzenet küldése Felhasználó weblapjának megtekintése MSN Messenger
Ragadozo
Gyakorlott phpBB-s
Gyakorlott phpBB-s
Avatar

Csatlakozott: 2008.05.08. Csütörtök 18:26
Hozzászólások: 638
Hozzászólás Elküldve: 2013.03.03. 13:42    Hozzászólás témája:
Hozzászólás az előzmény idézésével
Szívesen .... :)

Felhasználó profiljának megtekintése Privát üzenet küldése Email küldése Felhasználó weblapjának megtekintése
KillBill
Gyakorlott phpBB-s
Gyakorlott phpBB-s
Avatar

Csatlakozott: 2007.03.26. Hétfő 5:42
Hozzászólások: 2258
Hozzászólás Elküldve: 2013.03.04. 18:25    Hozzászólás témája:
Hozzászólás az előzmény idézésével
Ma már 17 bot nézet fel, ha találsz még, akkor nyugodtan oszd meg :lol:

Felhasználó profiljának megtekintése Privát üzenet küldése Felhasználó weblapjának megtekintése MSN Messenger
Ragadozo
Gyakorlott phpBB-s
Gyakorlott phpBB-s
Avatar

Csatlakozott: 2008.05.08. Csütörtök 18:26
Hozzászólások: 638
Hozzászólás Elküldve: 2013.05.25. 15:07    Hozzászólás témája:
Hozzászólás az előzmény idézésével
Update WEB Robotok
2013. 05. 25.

Változások:
  • Jelentősen bővült a robot lista, most már 984 robot adatai szerepelnek benne.
  • Az előző listából közel 100 db robot user-agent kliensazonosító illesztése lett frissítve.

Letölthető:
WEB-Robotok -- [Crawler] - [Bot]

Természetesen nem ettől fognak az oldalra rohanni a robotok, de ajánlott azoknak, akik szeretnék tudni, hogy milyen robotok látogatják az oldalukat.
Kezdő, vagy kevésbé gyakorlott phpbb fórumozóknak ajánlott elolvasni az ott leírtakat.

Ez a telepítő a módosításokat nem végzi el, csak az új robotokat telepíti fel.
Ezért a sok frissítés miatt ajánlott az összes robotot letörölni az oldalról, és frissen telepíteni az egészet.
Az egész művelet (törlés - telepítés) cca. 5 percig tart! :)

A robotokat törölni az oldalunkról akár egyenként, akár egyszerre többet, vagy akár egyszerre mindet, az AVP-ből lehet.
Lépjünk be az AVP-be:
  1. Az általános fülön bal oldalt megtaláljuk a (Kereső)robotok menüpontot, klikk rá.
  2. A bejövő ablakban választhatunk, a jobb szélső kockát egyenként kijelöljük (ha csak egy, vagy pár robotot akarunk törölni), vagy legalul a jobb oldalon klikkelünk az Összes kijelölése opcióra.
    Legalul jobb oldalon görgessük le a választható menüpontot, és jelöljük be a Törlés opciót, majd klikk az Elküld gombra. A kijelölésnek megfelelően törlődnek a Robotok a rendszerből.
  3. Klikk a visszatérés lehetőségre, majd az Általános fülre, és ott középen futtassuk le a Statisztika újraszinkronizálása, majd a Gyorsítótár kiürítése menüpontot.


Ezután már telepíthetjük az új robotokat:
  • Töltsük fel a robotok.php fájlt az oldalunkra a fórum gyökér könyvtárába.

  • Valamelyik böngészőből futtassuk le a fájlt:

    Kód:

    http://oldalad.tld/robotok.php

  • A telepítő lefutása után kapott feladatokat ajánlott elvégezni.


Megközelítőleg mintegy 20 000 robot van "számon tartva", ebből mintegy 2 000 robot olyan, amit esetleg érdemes ilyen jellegű fórumoldalra felrakni.
De egyenlőre újabb robotok adatainak gyűjtése nincs tervezve, mert előbb közel 200-300 meglévő robot user-agent kliensazonosító illesztését kellene frissíteni, némelyik még az ezredforduló előtti adatú. És bár sok közülük még mindig aktív ennek ellenére, azonban a többségnél már történtek változások. Viszont a "tuti" adatot megtalálni nagyon körülményes, mert bár több száz vagy ezer oldalon található erre vonatkozó adat, többségében sajnos az adatok egymástól eltérőek.

Ha valakinek van kedve hozzá, új, vagy frissített robotok adatait itt is megoszthatja mindenkivel, vagy elküldheti akár PÜ-be, vagy Email-ba nekem.
Ami szükséges:

Kód:

'user name (a robot neve)'         => array('user agent (ügynöki meghatározás)', 'A Robot IP-címe'),

Egy-egy robot beregisztrálásánál két fontos adatra van szükségünk:
  • User name (a robot neve):
    • Nem kizáró tényező, lehet "módosítani", de ajánlott lehetőség szerint megtartani az eredeti nevet.

  • User agent (ügynöki meghatározás)
    • Ez egy fajta kliens azonosító, mely alapján azonosítja magát a robot, és a hozzá megadott név megjelenik számunkra. Így láthatjuk, hogy az a robot az oldalunkon járt (vagy még ott van). Bár részleges illeszkedés használható, de ezt egyre több robotnál pontosan ajánlott megadni a keresőrobot adatlapja szerint, különben lehetséges, hogy nem fog megjelenni a listánkon, és nem látjuk, hogy az oldalon jár (legfeljebb a vendég látogatók száma eggyel több lesz).

  • A Robot IP-címe
    • Ezt a rész jobb, ha üresen hagyjuk. Bár itt is lehetséges a részleges azonosítás, megadhatunk akár több IP címet is, de manapság nagyon sok robot egyszerre több IP címet is használ, és ha nem az általunk megadottról néz be az oldalra, megint csak előfordulhat, hogy nem látjuk, és legfeljebb a vendégek számát növeli.


.



A hozzászólás legutóbb Ragadozo által 2013.05.25. 19:23-kor lett szerkesztve, összesen 3 alkalommal.

Felhasználó profiljának megtekintése Privát üzenet küldése Email küldése Felhasználó weblapjának megtekintése
KillBill
Gyakorlott phpBB-s
Gyakorlott phpBB-s
Avatar

Csatlakozott: 2007.03.26. Hétfő 5:42
Hozzászólások: 2258
Hozzászólás Elküldve: 2013.05.25. 17:25    Hozzászólás témája:
Hozzászólás az előzmény idézésével
Köszi de ez nem letölthető vendégek számára :roll:

Felhasználó profiljának megtekintése Privát üzenet küldése Felhasználó weblapjának megtekintése MSN Messenger
Hozzászólások megtekintése:  

Nem készíthetsz új témákat ebben a fórumban.
Nem válaszolhatsz egy témára ebben a fórumban.
Nem módosíthatod a hozzászólásaidat a fórumban.
Nem törölheted a hozzászólásaidat a fórumban.
Nem szavazhatsz ebben fórumban.

Hirdetés
Hirdetés