?높은 심도가 무조건 좋은거다?

그렇지 않다. 연산 형식이 다른 두 형태의 심도를 같이 비교하면 안된다.

정수형과 부동소수형의 장단점

일단 숫자 데이터 연산의 형식에는 정수형(Integer)과 부동소수형(Floating Point)이 있고, 서로 사용하는 연산기가 다르다. 정수형의 장점은 빠른 계산이 가능하다는 점, 하지만 표현할 수 있는 숫자의 범위가 적다는 점이고

부동소수형의 장점은 글자수(bit)에 비해서 표현할 수 있는 숫자의 범위가 매우 크다는 점이지만, 실제 숫자 표현의 자릿수와 소수점 표현에 대한 자리수의 복잡한 표현으로 이루어지기 때문에, 계산방식이 다소 느려진다는 점. 그리고 오차가 다소 발생할 수 있다는 점이 그 단점이다.¹⁾

각 데이터 형식의 표현 범위

정수형 숫자 표현의 범위

16-bit 정수형의 총 표현 가능 단계 = = 65536(5자리수)
24-bit 정수형의 총 표현 가능 단계 = = 16777216(8자리수)
32-bit 정수형의 총 표현 가능 단계 = = 4294967296(10자리수)
48-bit 정수형 배정밀도= = 2.8147498e+14 (e+x 는 +10^X 를 말합니다.) = 28147598000(14자리수)
56-bit 정수형 = = 7.2057594e+16(16자리수)
64-bit 정수형 = = 1.8446744e+19(19자리수)

부동소수형 숫자 표현의 범위

32-bit 부동소수형의 가장 작은 숫자 = $1.0 * 2^{-126}$ = 1.1754944e-38 (소수점 38자리수)
32-bit 부동소수형의 가장 큰 숫자 = $(2 - 2^{-23}) * 2^{127}$ = 3.4028235e+38 = (38자리수)

부동소수점 연산의 정밀성 손실

부동소수 연산의 정밀성 손실 문제를 구체적인 예시로 설명해보겠습니다.

예를 들어, 우리가 다음과 같은 두 개의 부동소수를 더한다고 가정해봅시다:

$0.1 * 10^{-20}$
$0.2 * 10^{-20}$

이 두 부동소수를 더하면 우리는 $0.3 * 10^{-20}$ 이 나와야 한다고 예상할 수 있습니다. 그러나 컴퓨터에서는 부동소수점을 표현할 때 소수점 이하의 정밀도에 한계가 있기 때문에 정확한 결과를 얻기 어렵습니다.

실제로 컴퓨터에서 이러한 덧셈을 수행하면 다음과 같은 결과가 나올 수 있습니다:

$0.1 * 10^{-20}$ 를 표현할 때 발생하는 정밀성 손실로 인해 실제로는 $0.10000000000000000000005 * 10^{-20}$ 정도로 저장될 수 있습니다.
$0.2 * 10^{-20}$ 도 마찬가지로 정밀성 손실로 인해 $0.20000000000000000000004 * 10^{-20}$ 정도로 저장될 수 있습니다.

따라서 이 두 수를 더하면 $0.30000000000000000000009 * 10^{-20}$ 정도의 값이 나올 수 있습니다. 이것은 우리가 원했던 $0.3 * 10^{-20}$ 과 약간 다른 값이며, 부동소수점 연산의 정밀성 손실로 인해 발생한 것입니다.²⁾

이러한 예시를 통해, 부동소수 연산에서의 정밀성 손실이 어떻게 발생하는지 좀 더 구체적으로 이해할 수 있습니다.

이러한 오차는 금융 분야에서의 시간, 금액 계산이나, 공학에서의 정밀 계산이 필요한 분야에서는 큰 오류를 범할 수 있지만, 그래픽 분야 또는 오디오 분야에서는 큰 문제가 되지 않습니다. 그래서, 그래픽 카드에서 쓰이는 GPU에서는 거의 부동소수형 연산자를 가진 칩을 사용하고, 오디오 쪽에서는 최근 부동소수형 DSP 칩들이 레이턴시가 짧아진 제품들이 나오면서³⁾ 부동소수형 연산칩을 사용하는 경향이 있습니다.

디지털 콘솔은 왜 정수형 연산자를 쓰는가?

디지털 콘솔들 중에서 내부 DSP의 연산형식이, 48-bit, 56-bit 등인 제품들은 정수형 DSP 연산 형식으로 나온 제품들이고 연산 레이턴시 부분에서 이득을 보기위해 채택한 DSP 정수형 연산자를 쓰기 때문이다. 이 제품들의 해상도는 32 bit 부동소수형 DSP 보다 해상도 면에서는 떨어지는 것이다.하지만 정수가 연산 속도⁴⁾가 빠르므로 레이턴시 부분에서 유리하기 때문에 아직도 디지털 콘솔 중엔 정수형 DSP를 쓰는 제품이 많이 있다.

결론

위에서 볼 수 있듯이 32 bit 부동소수가 표현할수 있는 숫자 범위는 정수형 표현과 비교하면 128 bit가 와도 상대가 안될 정도로 높으므로 48, 56-bit 정수형 등과 같은 정수형 연산자들과 비교한다면 32-bit 부동소수형은 거의 아날로그에 가깝다고 생각해도 무리가 아니다.⁵⁾

¹⁾

하지만 오차는 무시해도 되는 수준으로 알려져 있다. 공학계산의 경우에는 100% 동일해야 해서 부동소수점 계산을 피하지만, 오디오나, 그래픽 등의 분야에서는 오차는 무시해도 되므로 부동소수를 적극 활용한다.

²⁾

그림이나 오디오 표현에서는 하나도 문제가 안되는 정도의 오차입니다.

³⁾

부동소수 연산자 DSP 칩이 나오게 된 원인은 공학계산 용도 등으로도 부동소수 오차가 크게 의미 없다는 판단이었을 것이다. 사실 DSP는 계산의 정확도 때문에 그동안 정수형 연산자 DSP가 대세였다.

⁴⁾

정수형 연산은 그냥 2진법기본 연산이므로 빠르다.

⁵⁾

사실 아직도 Pro Tools 구형의 48-bit 정수가 32-bit 부동소수보다 좋은 것이라는 헛소리를 하는 사람이 많다.!!아주 많다!! Pro Tools도 지금 현재 신형의 경우는 32-bit 부동소수형 연산을 하는 DSP칩으로 바뀌었다.

로그인하면 댓글을 남길 수 있습니다.

[홈레코딩 필독서]"모두의 홈레코딩"구매링크

홈레코딩 위키

목차

?높은 심도가 무조건 좋은거다?

정수형과 부동소수형의 장단점

각 데이터 형식의 표현 범위

부동소수점 연산의 정밀성 손실

디지털 콘솔은 왜 정수형 연산자를 쓰는가?

결론