Автоматическое формирование robot.txt

Просто проставьте страницы которые нужно индексировать и запретите там где индексация не нужна, система сама сгенерирует файл robot.txt Вам для этого ничего дополнительного прописывать не нужно.