Естественно, так или иначе, кривая вывела меня на Bundler (после того, как я утомился бесконечно вводить gem install и читать сообщения о новых неразрешенных зависимостях).
Так, вот, товарищи, статье на хабре не верьте. Точнее верьте, но не во всем.
Для установки gem-ов в определенную папку нужно использовать не:
bundle install ./vendor/bundler_gems
А вовсе даже:
bundle install --path ./vendor/bundler_gems
Спасибо Ирландскому Пингвину и опции --path.