1. 취약한 C 프로그램 예제
우선, 버퍼 오버플로우에 취약한 C 프로그램을 작성해봅시다. 이 프로그램은 사용자 입력을 받아 버퍼에 저장하는 기능을 수행합니다.
```c
#include <stdio.h>
#include <string.h>
void vulnerable_function(char *input) {
char buffer[10];
strcpy(buffer, input); // 버퍼 오버플로우 발생 가능성
printf("Buffer contents: %s\n", buffer);
}
int main() {
char user_input[256];
printf("Enter some text: ");
fgets(user_input, sizeof(user_input), stdin);
vulnerable_function(user_input);
return 0;
}
```
위의 코드는 사용자가 입력하는 데이터가 `buffer` 크기를 초과할 경우 메모리를 초과하는 데이터를 `buffer`에 그대로 복사하여 오버플로우를 유발할 수 있습니다.
2. 공격 시나리오
이제 이 프로그램의 허점을 이용하는 시나리오를 설명하겠습니다. 공격자는 `buffer` 크기를 초과하는 데이터를 입력하여 프로그램의 흐름을 제어하고 악의적인 코드를 실행할 수 있습니다. 예를 들어, 공격자가 운영체제의 쉘을 실행하도록 만드는 것이 가능합니다.
```shell
./vulnerable_program $(perl -e 'print "A"x14 . "\xef\xbe\xad\xde"')
```
위 쉘 코드는 `buffer`의 크기를 초과하는 "A" 문자와, 프로그램 흐름을 변형하여 특정 주소(예: `0xdeadbeef`)로 점프하도록 만듭니다. 이는 메모리 레이아웃에 따라 프로그램의 실행 흐름을 변경할 수 있게 합니다.
3. 보호 메커니즘
최근 운영체제는 이러한 버퍼 오버플로우 공격에 대비하여 여러 보호 메커니즘을 구현하고 있습니다. `Stack Canaries`, `ASLR(Address Space Layout Randomization)`, `DEP(Data Execution Prevention)` 등이 대표적입니다. 이는 프로그램이 버퍼 오버플로우와 같은 경계 침범을 감지하고, 메모리 주소를 무작위로 배치하여 공격자가 특정 주소를 예상하기 어렵게 만듭니다. 이러한 메커니즘이 어떻게 보호해주는지 간단한 예제를 들어보겠습니다.
```c
#include <stdio.h>
#include <string.h>
void safe_function(char *input) {
char buffer[10];
size_t n = strlen(input);
if (n < sizeof(buffer)) {
strcpy(buffer, input);
printf("Buffer contents: %s\n", buffer);
} else {
printf("Input is too large!\n");
}
}
int main() {
char user_input[256];
printf("Enter some text: ");
fgets(user_input, sizeof(user_input), stdin);
safe_function(user_input);
return 0;
}
```
위 코드에서 우리는 `버퍼`에 복사하기 전에 입력 길이를 검사하여 안전성을 높였습니다. 이런 방식은 기본적인 경계 확인 기법으로, 버퍼 오버플로우를 방지하는 방법 중 하나입니다.
이러한 보호 기법들을 통해 지속적으로 보안을 강화함으로써, 운영체제는 버퍼 오버플로우와 같은 공격으로부터 시스템을 더 안전하게 지킬 수 있습니다. 그러나 보호 메커니즘에도 불구하고, 항상 철저한 코드 검토와 보안 테스트가 필요한 것은 여전히 중요합니다.