ഒരു എങ്ങിനെ എന്താണ്? എങ്ങിനെ ഉപകരണം "പരാഗ്വേ", Google

എല്ലാ ദിവസവും ഇന്റർനെറ്റിൽ അവിടെ ഒരു വെബ്സൈറ്റ് അപ്ഡേറ്റ് പഴയ വെബ് പേജുകൾ സൃഷ്ടിക്കാൻ ഫോട്ടോകളും വീഡിയോകളും അപ്ലോഡ് പുതിയ വസ്തുക്കൾ ഒരു വലിയ തുക. സേർച്ച് എൻജിനുകളിൽ നിന്നും മറച്ചു ഇല്ലാതെ വേൾഡ് വൈഡ് വെബ്, ഈ രേഖകൾ ഒന്നും കണ്ടെത്താൻ കഴിഞ്ഞില്ല. ഏതൊരു സമയത്തും റോബോട്ടിക് പരിപാടികൾ പോലുള്ള ആൾട്ടർനേറ്റീവ്സിനെക്കുറിച്ച് നിലവിലില്ല. നിങ്ങൾക്ക് ആവശ്യമുള്ളപ്പോൾ എന്തുകൊണ്ട് ഒരു തിരയൽ റോബോട്ട്, എങ്ങനെ ഓപ്പറേറ്റ് എന്താണ്?

ഒരു തിരയൽ റോബോട്ട് എന്താണ്

ക്രാളർ സൈറ്റ് (സെർച്ച് എഞ്ചിൻ) - വേഗത്തിൽ ഏതെങ്കിലും ഓപ്പറേറ്റർ ഇടപെടലില്ലാതെ ഇന്റർനെറ്റ് വഴി നാവിഗേറ്റ് ദശലക്ഷക്കണക്കിന് വെബ് പേജുകൾ സന്ദർശിക്കാൻ കഴിയും എന്നു ഓട്ടോമാറ്റിക് പ്രോഗ്രാം ആണ്. യന്ത്രങ്ങൾ നിരന്തരം സ്കാൻ സ്ഥലം ഉണ്ട് , വേൾഡ് വൈഡ് വെബ് എന്ന പുതിയ വെബ് പേജുകൾ കണ്ടെത്തുന്നതിനും പതിവായി ഇതിനകം ഇൻഡെക്സ് സന്ദർശിക്കുക. വെബ് ക്രോളർ ചിലന്തികൾ മറ്റു പേരുകൾ, ക്രാളർമാരും, ബോട്ടുകൾ.

എന്തുകൊണ്ട് സെർച്ച് എഞ്ചിൻ ചിലന്തിയുടെ ആകുന്നു

സെർച്ച് എഞ്ചിൻ ചിലന്തികൾ ചെയ്യുന്ന പ്രധാന പ്രവർത്തനങ്ങൾ - അവരെ വെബ് പേജുകളാണ് ഇൻഡെക്സ്, അതുപോലെ ടെക്സ്റ്റ്, ചിത്രങ്ങൾ, ഓഡിയോ, വീഡിയോ ഫയലുകൾ. യന്ത്രങ്ങൾ പരാമർശങ്ങൾ, കണ്ണാടി സൈറ്റുകൾ (പകർപ്പുകൾ) അപ്ഡേറ്റുകളും പരിശോധിക്കുക. റോബോട്ടുകൾ പുറമേ വികസിക്കും വേൾഡ് വൈഡ് വെബ് എന്ന സാങ്കേതിക മാനദണ്ഡങ്ങൾ നടപ്പിലാക്കുന്ന വേൾഡ് സംഘടനയുടെ ജഗത്സാക്ഷിദാസ് നിലവാരം വേണ്ടി എച്ച്ടിഎംഎൽ-കോഡ് നിയന്ത്രണം പ്രകടനം.

എന്താണ് ഇൻഡക്സുചെയ്യുന്നത്, എന്തുകൊണ്ട് അത് ആവശ്യമാണ്

ഇന്ഡക്സിങ്ങ് - ആണ്, വാസ്തവത്തിൽ, തിരയൽ എഞ്ചിനുകൾ ഒരു പ്രത്യേക വെബ് പേജ് സന്ദർശിച്ച് പ്രക്രിയയാണ്. പ്രോഗ്രാം ഈ സൈറ്റ്, ചിത്രങ്ങൾ, വീഡിയോകൾ, സ്ഥലവുമായി ലിങ്കുകളിൽ ടെക്സ്റ്റ് സ്കാൻ, പേജ് തിരയൽ ഫലങ്ങളിൽ ദൃശ്യമാകുന്ന. ചില സാഹചര്യങ്ങളിൽ, സൈറ്റ് പിന്നീട് അത് സ്വയം വെബ്മാസ്റ്റർ സെർച്ച് എഞ്ചിൻ ചേർത്തു കഴിയും, സ്വയം സ്കാൻ ചെയ്യാനാകില്ല. സാധാരണഗതിയിൽ, ഈ അഭാവത്തിൽ സംഭവിക്കുന്നത് ബാഹ്യ ലിങ്കുകളുടെ ഒരു പ്രത്യേക (പലപ്പോഴും അടുത്ത സൃഷ്ടിച്ച) പേജിലേക്ക്.

എങ്ങനെ എഞ്ചിൻ ചിലന്തികൾ അന്വേഷിക്കും

ഓരോ സെർച്ച് എഞ്ചിൻ Google തിരയൽ റോബോട്ട് ഉപയോഗിച്ച് സ്വന്തം ബോട്ട് സംവിധാനം സമാനമായ ഒരു പ്രോഗ്രാം, "പരാഗ്വേ" മറ്റ് സിസ്റ്റങ്ങളിൽ പ്രവർത്തിക്കുന്നു പ്രകാരം ഗണ്യമായി വ്യത്യാസപ്പെട്ടിരിക്കും ഉണ്ട്.

പൊതുവെ, താഴെ ഒരു റോബോട്ട് ജോലി തത്ത്വം: പ്രോഗ്രാം സൈറ്റ് പ്രധാന പേജിൽ നിന്ന് ബാഹ്യ ലിങ്കുകൾ "വരുന്നു", വെബ് റിസോഴ്സ് (ഉപയോക്താവ് കാണുന്നില്ല ആ നോക്കി ഓവർഹെഡ് ഉൾപ്പെടെ) "വായിക്കുന്ന". ബോട്ട് ഒരു സൈറ്റിന്റെ പേജുകൾ തമ്മിൽ നാവിഗേറ്റ് മറ്റുള്ളവരെ നീങ്ങുക എങ്ങനെ ആണ്.

പ്രോഗ്രാം സൂചിക ഏത് സൈറ്റ് തിരഞ്ഞെടുക്കും? പലപ്പോഴും "യാത്രയിൽ" അധികം ചിലന്തി വലിയ റഫറൻസ് ഭാരം വാർത്താ സൈറ്റുകൾ അല്ലെങ്കിൽ പ്രധാന റിസോഴ്സ് ഡയറക്ടറികൾ അഗ്രഗേറ്ററുകളും തുടങ്ങുന്നു. ക്രാളർ തുടർച്ചയായി താഴെ ഘടകങ്ങൾ ഇൻഡക്സിംഗ് നിരക്കും സ്ഥിരത ന്, പേജുകൾ ഓരോന്നായി സ്കാൻ:

• ആന്തരിക: അങ്ങനെ പെരെലിനൊവ്ക (ഒരേ റിസോഴ്സ് പേജുകൾ തമ്മിലുള്ള ആന്തരിക കണ്ണികൾ), സൈറ്റ് വലിപ്പം, ശരിയായ കോഡ്, ഉപയോക്തൃ-സൗഹാർദപരവും;
• പുറത്തേക്കുള്ള: സൈറ്റ് നയിക്കുന്ന മൊത്തം റഫറൻസ് ഭാരം.

robots.txt കൊണ്ട് ഏതെങ്കിലും വെബ്സൈറ്റിൽ ആദ്യ കാര്യം സെർച്ച് റോബോട്ട് തിരയലുകൾ. കൂടുതൽ വിഭവ സൂചികയിലാക്കുന്നത് വിവരങ്ങൾ അടിസ്ഥാനമാക്കി നടപ്പാകും ഈ പ്രമാണത്തിൽ നിന്നും ആണ് ലഭിച്ചു. ഈ ഫയൽ പേജ് സന്ദർശനങ്ങളും സാധ്യത തിരയൽ എഞ്ചിനുകൾ, "പരാഗ്വേ" അല്ലെങ്കിൽ Google ഒരു ആദ്യകാല ഹിറ്റ് സൈറ്റ് നേടാൻ അപ്പോൾ വർധിപ്പിക്കുന്നു, ഒപ്പം "സ്പൈഡർ" പ്രത്യേക നിർദ്ദേശങ്ങൾ അടങ്ങുന്ന.

പ്രോഗ്രാം അനലൊഗ്സ് ക്രാളർമാരും

പലപ്പോഴും പദം "സെർച്ച് റോബോട്ട് 'ബുദ്ധിയുള്ള, ഉപയോക്താവ് അല്ലെങ്കിൽ സ്വയം ഏജന്റുമാർ," ഉറുമ്പുകൾ "അല്ലെങ്കിൽ" കൃമി "ആശയക്കുഴപ്പത്തിൽ ആണ്. ഏജന്റ്സ് താരതമ്യം മാത്രമായിരുന്നു വ്യത്യാസങ്ങൾ നിമജ്ജനം, മറ്റ് നിർവചനങ്ങൾ റോബോട്ടുകൾ സമാന തരത്തിലുള്ള കാണുക.

ഉദാഹരണത്തിന്, ഏജന്റ്സ് കഴിയും:

• ബൌദ്ധിക: സൈറ്റിൽ നിന്നും സൈറ്റ് മാറ്റി ഏത് പ്രോഗ്രാം, സ്വതന്ത്രമായി മുന്നോട്ട് എങ്ങിനെ; ഇന്റർനെറ്റ് വളരെ സാധാരണമാണ് അല്ല;
• സ്വയംഭരണാധികാരമുള്ള: ഈ ഏജന്റുമാർ ഒരു ഉൽപ്പന്നം, തിരയൽ അല്ലെങ്കിൽ നെറ്റ്വർക്ക് പരിപാടികൾ അല്പം ബന്ധപ്പെട്ടതോ ആയ രൂപങ്ങൾ, ഫിൽട്ടറുകൾ വിളിക്കപ്പെടുന്ന, പൂരിപ്പിക്കുന്നത് തിരഞ്ഞെടുക്കുന്നതിൽ ഉപയോക്താവ് സഹായിക്കും.
• ഉപയോക്താവ്: പ്രോഗ്രാം വേൾഡ് വൈഡ് വെബ്, ഒരു ബ്രൗസർ (ഉദാഹരണത്തിന്, ഓപ്പറ, അതായത്, Google Chrome ന്, ഉപയോക്തൃ സമ്പർക്കം സംഭാവന ഫയർഫോക്സ്), ദൂതൻമാർ (വെച്ച്, ടെലിഗ്രാം) അല്ലെങ്കിൽ ഇ-മെയിൽ പരിപാടികൾ (എം.എസ് Outlook, ക്വാൽകോം).

"ഉറുമ്പു" ഉം "കൃമി" സെർച്ച് എഞ്ചിൻ "ചിലന്തികൾ" കൂടുതൽ സമാനമായ. ഒരു നെറ്റ്വർക്ക് തമ്മിലുള്ള ഈ ഉറുമ്പ് ചരക്കുകളിലൊന്ന് സ്ഥിരതയാർന്ന സംവദിക്കാൻ ആദ്യം ഫോം, "കൃമി" സാധാരണ എങ്ങിനെ അതേ മറ്റു കാര്യങ്ങളില് പകർപ്പെടുക്കാൻ കഴിയും.

സെർച്ച് എഞ്ചിൻ റോബോട്ടുകൾ മുറികൾ

ക്രോളർ പല തരം തമ്മിൽ വേർതിരിച്ചു. പരിപാടിയുടെ ഉദ്ദേശ്യം ആശ്രയിച്ച്, അവർ:

• "മിറർ" - തനിപ്പകർപ്പുകൾ വെബ്സൈറ്റുകൾ ബ്രൗസുചെയ്യുന്നു.
• മൊബൈൽ - വെബ് പേജുകളുടെ മൊബൈൽ പതിപ്പുകൾ ശ്രദ്ധ.
• അതിവേഗ - പുതിയ അപ്ഡേറ്റുകൾ കണ്ടുകൊണ്ട് വേഗം പുതിയ വിവരങ്ങൾ പരിഹരിക്കാൻ.
• പരാമർശം - റഫറൻസ് സൂചിക, അവരുടെ അക്കങ്ങൾ.
• ഉള്ളടക്കത്തിന്റെ ഇംദെക്സെര്സ് വ്യത്യസ്ത തരത്തിലുള്ള - ടെക്സ്റ്റ്, ഓഡിയോ, വീഡിയോ, ചിത്രങ്ങൾ പ്രത്യേക പരിപാടികൾ.
• "സ്പൈവെയർ" - നോക്കി ഇതുവരെ തിരയൽ എഞ്ചിനിൽ പ്രദർശിപ്പിക്കാത്ത താളുകൾ.
• "ഫൈലം" - ഇടയ്ക്കിടെ അവരുടെ പ്രസക്തി കാര്യക്ഷമതയും പരിശോധിക്കാൻ സൈറ്റുകൾ സന്ദർശിക്കുക.
• ദേശീയ - രാജ്യത്തെ ഡൊമെയ്നുകളിലൊന്നിൽ സ്ഥിതി വെബ് വിഭവങ്ങൾ ബ്രൗസിംഗ് (ഉദാ, .mobi, അല്ലെങ്കിൽ .ക്ജ് .ഉഅ).
• ആഗോള - സൂചിക എല്ലാ ദേശീയ സൈറ്റുകൾ.

റോബോട്ടുകൾ പ്രമുഖ സെർച്ച് എൻജിനുകളിൽ

ചില സെർച്ച് എഞ്ചിൻ ചിലന്തിയുടെ ഉണ്ട്. സിദ്ധാന്തത്തിൽ അവരുടെ പ്രവർത്തനം വ്യത്യാസപ്പെട്ടിരിക്കുന്നു കഴിയും, എന്നാൽ പ്രായോഗികമായി പരിപാടികൾ ഏതാണ്ട് സമാനമായ ആകുന്നു. താഴെ രണ്ടു പ്രമുഖ സെർച്ച് എൻജിനുകളിൽ ഇൻഡക്സിംഗ് വെബ് പേജുകൾ റോബോട്ടുകൾ പ്രധാന വ്യത്യാസങ്ങൾ:

• പരിശോധനയുടെ സ്ത്രിന്ഗെന്ച്യ്. ഇത് ക്രോളർ സംവിധാനം "പരാഗ്വേ" അല്പമെങ്കിലും കർശനമായ കണക്കുകൾ വേൾഡ് വൈഡ് വെബ് എന്ന മാനദണ്ഡങ്ങൾക്കനുസൃതമായി സൈറ്റ് വിശ്വസിക്കപ്പെടുന്നു.
• സൈറ്റിന്റെ സമഗ്രത നിലനിർത്തിയത്. ഗൂഗിൾ എങ്ങിനെ ഇൻഡെക്സ് മുഴുവൻ സൈറ്റ് (മീഡിയ ഉള്ളടക്കം ഉൾപ്പെടെ), "പരാഗ്വേ" പുറമേ തിരഞ്ഞെടുക്കപ്പെട്ടവരോട് ഉള്ളടക്കം കാണാൻ കഴിയും.
• സ്പീഡ് ടെസ്റ്റ് പുതിയ പേജുകൾ. ഗൂഗിൾ, ഏതാനും ദിവസങ്ങൾക്കുള്ളിൽ തിരയൽ ഫലങ്ങളിൽ പുതിയ വിഭവം ചേർക്കുന്നു "പരാഗ്വേ നടത്തിയ" പ്രക്രിയയുടെ കേസിൽ രണ്ടു ആഴ്ച അതിലധികമോ എടുത്തേക്കാം.
• വീണ്ടും സൂചികയിലാക്കൽ ഫ്രീക്വൻസി. ക്രാളർ "പരാഗ്വേ" ആഴ്ചയിൽ രണ്ടുതവണ അപ്ഡേറ്റുകൾ പരിശോധിക്കുന്നതിന്, Google - ഓരോ 14 ദിവസം.

ഇന്റർനെറ്റ്, തീർച്ചയായും, രണ്ട് സെർച്ച് എഞ്ചിനുകൾ പരിമിതപ്പെടുത്തിയിട്ടില്ല. മറ്റ് സെർച് എഞ്ചിനുകൾ സ്വന്തം സൂചികയിലാക്കൽ പരാമീറ്ററുകൾ പിന്തുടരുന്ന അവരുടെ റോബോട്ടുകൾ ഉണ്ട്. കൂടാതെ, പ്രധാന അല്ല തിരയൽ വിഭവങ്ങൾ രൂപകൽപ്പന ചെയ്ത നിരവധി "സ്പൈഡർ", വ്യക്തിഗത ടീമുകൾ അല്ലെങ്കിൽ വെബ്മാസ്റ്ററിനായുള്ള ഉണ്ട്.

സാധാരണ തെറ്റിദ്ധാരണകളുടെ

പൊതുധാരണയ്ക്ക് വിപരീതമായി, "സ്പൈഡർ" വിവരങ്ങൾ പ്രോസസ്സ് ചെയ്യരുത്. പ്രോഗ്രാം മാത്രം സ്കാൻ സ്റ്റോറുകൾ വെബ് പേജുകളും കൂടുതൽ പ്രോസസ്സിംഗ് തികച്ചും വ്യത്യസ്തമായ റോബോട്ടുകൾ എടുക്കും.

കൂടാതെ, പല ഉപയോക്താക്കൾ സെർച്ച് എഞ്ചിൻ ചിലന്തികൾ ഒരു നെഗറ്റീവ് ഹൈബി "ദോഷകരമായ" ഇന്റർനെറ്റ് വിശ്വസിക്കുന്നു. വാസ്തവത്തിൽ, "സ്പൈഡർ" ചില പതിപ്പുകൾ ഗണ്യമായി സെർവർ ഡിലീറ്റ് ചെയ്യാം. ഒരു മനുഷ്യ ഘടകം ഉണ്ടു - പ്രോഗ്രാം സൃഷ്ടിച്ച വെബ്മാസ്റ്റർ,, റോബോട്ട് ക്രമീകരണത്തിൽ തെറ്റുകൾ കഴിയും. എന്നാൽ നിലവിലുള്ള പരിപാടികൾ ഏറ്റവും നന്നായി ഡിസൈൻ ചെയ്തവയാണ്, വിദഗ്ധ കൈകാര്യം, ഏതെങ്കിലും ഉയർന്നുവരുന്ന പ്രശ്നങ്ങൾ വൈദ്യസഹായം നീക്കം.

എങ്ങനെ ഇൻഡെക്സ് ചെയ്യുന്നത് മാനേജ്

സെർച്ച് എഞ്ചിൻ റോബോട്ടുകൾ ഓട്ടോമേറ്റഡ് പ്രോഗ്രാമുകൾ, എന്നാൽ ഇൻഡക്സിംഗ് പ്രോസസ്സ് ഭാഗികമായി വെബ്മാസ്റ്റർ നിയന്ത്രിക്കാം. ഇത് ഏറ്റവും ബാഹ്യ, സഹായിക്കുന്നു ആന്തരിക ഒപ്റ്റിമൈസേഷൻ റിസോഴ്സ്. കൂടാതെ, നിങ്ങൾ സ്വയം ഒരു സെർച്ച് എഞ്ചിൻ ഒരു പുതിയ സൈറ്റ് ചേർക്കാൻ കഴിയും: വലിയ വിഭവങ്ങൾ വെബ് പേജുകൾ രജിസ്ട്രേഷൻ ഒരു പ്രത്യേക ഫോം.