При нажатии на ESC
Для того, что бы модальное окно (twitter bootstrap) закрылось при нажатии на ESC, необходимо добавить параметр tabindex="-1"
Пример кода
<a href="#my-modal" data-keyboard="true" data-toggle="modal">Open Modal</a>
<div class='modal fade hide' id='my-modal' tabindex='-1'>
<div class='modal-body'>
<div>Test</div>
</div>
</div>
При нажатии на button
Необходимо прописать data-атрибут data-dismiss="modal"
Пример
<a href="#" class="btn " data-dismiss="modal"> Закрыть </a>