Примеры robots.txt
Приведем конкретные примеры написания файла robots.txt для разных задач.
1. Запретить ресурс полностью к индексации всеми поисковыми роботами.
User-agent: *
Disallow: /
2. Не запрещать весь ресурс к индексации всеми поисковыми роботами.
User-agent: *
Disallow:
3. Запретить весь ресурс к индексации одним поисковым роботом, к примеру, роботом Bot.
User-agent: Bot
Disallow: /
4. Не запрещать весь сайт к индексации одному роботу, к примеру, Bot, и запретить к индексации всем остальным поисковым роботам.
User-agent: Bot
Disallow:
User-agent: *
Disallow: /
5. Запретить несколько папок к индексации всеми поисковыми роботами.
User-agent: *
Disallow: /directoria-1/
Disallow: /directoria-1/
Disallow: /hidedirectoria/
6. Запретить несколько файлов к индексации всеми поисковыми роботами.
User-agent: *
Disallow: /hide.php
Disallow: /secret.html
Aliquam ipsum nisi, scelerisque et, commodo nec, consectetur vel, tellus. Cras ipsum diam, hendrerit id, accumsan sit amet, fermentum vel, dui. Cras ipsum diam, hendrerit id, accumsan sit amet, fermentum vel, dui.
H1: Lorem ipsum dolor sit amet
H2: Lorem ipsum dolor sit amet
H3: Lorem ipsum dolor sit amet
H4: Lorem ipsum dolor sit amet
H5: Lorem ipsum dolor sit amet
H6: Lorem ipsum dolor sit amet
UNORDERED LIST
- Unordered list test
- Another list element. Lorem ipsum dolor sit amet, consectetur adipisicing elit.
- Unordered list test
- Another list element. Lorem ipsum dolor sit amet, consectetur adipisicing elit.
- Yet another element in the list
- Some long text. Lorem ipsum dolor sit amet, consectetur adipisicing elit. Lorem ipsum dolor sit amet, consectetur adipisicing elit.
- Yet another element in the list
- Some long text. Lorem ipsum dolor sit amet, consectetur adipisicing elit. Lorem ipsum dolor sit amet, consectetur adipisicing elit.
ORDERED LIST
- Ordered list test
- Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam..
- Another list element
- Yet another element in the list
TABLES
| Use the th tag to create the header which will display in bold | |
|---|---|
| The tr tag creates the row | The td tag creates individual cells for each row |
| You should always use the closing tags | You can use a variety of XHTML tags inside the cell |
| The three new table tags are tbody, tfoot, and thead | The colspan attribute allows you span more than one cell |
