[인공지능 알아가기] 머신러닝과 딥러닝의 종류와 대표적인 프레임워크

AI의 역사 (출처: SK하이닉스 뉴스룸)

INTRO. 인공지능 붐이 오다.

최근 부상한 줄 알았던 인공지능은 생각보다 긴 80년 정도의 역사를 가지고 있다. 주식 마냥 붐이 왔다가 폭락하고 다시 붐이 왔다가 폭락하는 현상을 반복하다 지금 드디어 진짜로 붐이 온 것 같다. 아 무 튼 

 

인공지능발전의 역사에서는 아이디어를 뒷받침해줄 하드웨어 등이 부족하여 연구가 잘 되지 않는 침체기가 있었다고 한다. 이런 상황에서 대규모 데이터 셋과 고성능 컴퓨팅 파워(GPU, TPU 등 엔비디아가 하는 그런..)가 발전하면서 딥러닝까지 발전할 수 있는 동력이 생기게 되었다고 한다.

물론 "지능"인 소프트웨어 측면에서도 침체기임에도 학습기법과 알고리즘을 계속 연구해온 연구자들과 이런 연구를 오픈소스로 공개한 연구자들이 기여했다고 할 수 있다. (후술할 Scikit Learn, TensorFlow, PyTorch 등..)

---

이 글에서는 인공지능과 세부 분야인 머신러닝, 그리고 딥러닝의 종류와 대표 프레임워크를 알아보려고 한다. 

코딩을 접한지 1년도 채 되지 않은 초보자에게 CNN, RNN 뭐라고 하는 이야기가 외계어였던 터라 용어정리겸 대략적인 발전과정과 간단한 장단점 그리고 (미약한) 원리를 공부해보았다. 

 

그래서 개요이다. 

1. 인공지능이란? 
2. 머신러닝이란? 
  2-1. 대표적인 머신러닝 프레임워크, Scikit Learn 
  2-2. 고성능을 원한다면, XGBoost, LightGBM, CatBoost 프레임워크  
3. 딥러닝이란? 
  3-1. 딥러닝의 역사와 대표적인 알고리즘의 종류 
  3-2. 딥러닝의 대표적인 프레임워크, TensorFlow, PyTorch, Keras

---

Q. 인공지능이란? 

사람처럼 학습하고 추론할 수 있는 지능을 가진 컴퓨터 시스템을 만드는 기술로, 인공지능이라는 큰 범주 안에 다양한 컴퓨터 과학과 통계학의 분야들이 속해있다. 그 중 "추론기능이 가능한 지능" 자체에 집중을 해서 더욱 범주화를 했을 때, 인공지능 안에 머신러닝, 머신러닝의 세부분야로서 딥러닝이 존재할 수 있다.  

---

Q. 머신러닝이란? 

머신러닝은 규칙을 프로그래밍하지 않아도 자동으로 데이터에서 규칙을 학습하는 알고리즘을 연구하는 분야를 의미한다. 데이터의 규칙을 본다는 의미에서 통계학과 관련이 깊으며, 따라서 통계학에서 유래된 머신러닝 알고리즘이 꽤 많다.

 

그래서인지 통계학의 대표적인 오픈소스 소프트웨어인 R에도 머신러닝 알고리즘이 구현되어 있다고 한다. 그러나 종류가 제한적이며 패키지가 다양하지 않아서 주로 파이썬(Python) 소프트웨어에서 여러 프레임워크가 활용되고 있다고 한다. 

---

대표적인 머신러닝 패키지에는 Scikit-learn이 있다. 

주로 지도학습(Supervised Learning), 비지도학습(Unsupervised Learning), 데이터 전처리, 모델 평가 등 다양한 머신러닝 작업에 활용되며, 초보자도 사용 가능한 간단한 도구라고 한다. 

 

장단점을 정리하자면, 

(+) 파이썬의 라이브러리여서 필요한 함수만 가져와서 사용 가능하다는 유연성

(+) 파이썬의 다른 라이브러리인 Numpy, SciPy, pandas 등과의 호환성  

(+) RandomForest, SVM, Logistic Regression 과 같은 다양한 머신러닝 알고리즘들이 제공된다. 

 

(-) 딥러닝 모델 지원이 부족함.

(-) 대규모 데이터 처리에 제한적임.

(-) CPU 기반처리여서 GPU 지원이 부족함.

 

전통적인 머신러닝 모델에 최적화되어 있어서, 데이터 과학의 기초, EDA(탐색적 데이터분석), 머신러닝 모델 학습에서 여전히 가장 인기 있는 라이브러리라고 한다. 

 

그러나 대규모 데이터 처리가 가능한 고성능 머신러닝 모델을 개발하고 싶을 때는 Scikit-learn이 한계가 있을 수 있다. 

---

이런 경우 XGBoost / Light GBM / CatBoost와 같은 프레임워크가 활용된다. 

이들은 "Gradient Boosting"이라는 알고리즘에 특화된 프레임워크로, 대규모 데이터를 처리해야하는 경우나 고성능 모델이 필요한 경우에 활용된다. 

 

프레임워크가 활용되는 까닭은, 

고급병렬 처리가 가능한 CPU / GPU가 지원 가능하기 때문에, 처리속도가 빠르고, 

결측치 처리에 대해서 전처리가 필요한 Scikit learn과 달리 자동처리가 가능하다는 장점이 있기 때문이다. 

 

따라서 데이터 분석대회 등에서 고성능, 빠른 학습속도, 뛰어난 일반화 성능으로 유명해져서 활용되고 있다.  

참고로, CatBoost는 조금 더 범주형 데이터에 최적화된 모델이라고 한다. 

---

 

초기에 탐색하거나 다양한 모델을 실험을 할 때 Scikit learn으로 모델을 빠르게 프로토타이핑을 하고, 성능이 중요한 경우에는 XGBoost와 같은 프레임워크로 최적화하는 전략을 택할 수도 있을 것 같다. 

 

(나는 우선 초보자이기 때문에 Scikit learn으로 전통적인 머신러닝 알고리즘들과 적용 방법에 대해서 배워보도록 하겠다.)

 

---

Q. 딥러닝이란? 

역시 머신러닝의 세부분야로, 다양한 머신러닝 알고리즘 중에서 인간의 뇌에서 영감을 받아 발전한 인공신경망(Artificial Neural Network)를 기반으로 하는 방법들을 통칭하여 딥러닝(Deep Learning)이라고 부른다. 

 

ANN(Artificial Neural Network, 인공신경망)은 후기술할 다층 퍼셉트론(MLP), DNN, CNN, RNN 등 모든 신경망 모델을 포괄하는 총칭이라고 할 수 있으며, 딥러닝과 잘 구분하지 않고 사용된다. 

딥러닝 알고리즘의 종류 (라기보다는 역사와 함께 알아보는 종류)

 

딥러닝 알고리즘의 종류에 대해서 정확히 이해하면서 공부하려면 사실 수학적으로 접근을 해야하는 것 같다. 하지만 아직 이 단계는 이른 것 같아서, 우선은 종류에라도 익숙해지고 싶어서 딥러닝의 역사를 정리해보았다. 실제로 누가 어떤 혁신을 가져왔고, 우리가 활용 중인 모델들과 어떻게 연결되어 있는지를 알 수 있어서 의미가 있는 것 같다. 

시작은 1943년 매컬릭과 피츠가 인간의 뇌를 수학적으로 모델링한 인공 뉴런 이론을 발표하면서 인간의 뇌를 논리구조로 설명 가능하다는 아이디어를 제시하면서 인간처럼 생각하는 기계에 대한 공상을 현실화하는 작업이 시작되었다고 할 수 있을 것이다. 

 

이는 그 유명한 Percept + =tron, 즉 지각하는 기계, 퍼셉트론의 등장으로 이어졌다. 퍼셉트론(Perceptron)은 Rosenblatt가 1957년에 개발한 최초의 실제 작동하는 신경망 모델이다. 인간의 뇌가 정보를 처리하는 방식을 모방하여 설계된 인공뉴런의 기초모델로, 오늘날 딥러닝의 출발점이 되었다. 간단히 설명하자면, 입력값(Input), 가중치(Weight), 바이어스(Bias), 그리고 활성화함수로 구성되어, 입력정보를 받아 중요도를 따지고 결과를 이진(0 or 1)로 내리는 단순한 인공 뉴런이라고 할 수 있다. (추후 더 알아보겠다)

 

인간의 뉴런을 흉내낸 형태로도 선형 분리가 가능한 데이터를 처리할 수 있다는 점에서 의미를 가졌으나 1969년 Minsky와 Papert가 비선형 문제는 해결할 수 없다는 한계를 지적하면서 AI 연구가 한동안 침체기에 빠졌다고 한다. 역시 간단하게 설명하자면, XOR(Exclusive OR)을 설명 못한다는 것이고 이는 둘 중 하나만 참이어야 참인 연산을 처리 못한다는 뜻이다. 

 

퍼셉트론의 한계를 극복하기 위해서 등장한 것이 바로 1986년의 다층 퍼셉트론 (Multi Layer Perceptron, MLP)이다. 여기에서는 입력과 출력 사이에 여러개의 은닉층을 추가하여 복잡한 패턴을 학습 가능하게 했다. 또한 다양한 ReLu, Sigmoid 등의 활성화 함수를 통해 퍼셉트론의 한계였던 비선형 데이터도 처리가능하게 되었다. 

그리고 오류를 뒤로 전파하여 가중치를 업데이트 하는 역전파 알고리즘(Backpropagation)이 개발되면서 딥러닝의  학습의 핵심 메커니즘이 완성되었다고 한다.

 

DNN(Deep Neural Network, 심층신경망)은 이런 은닉층이 여러개 있는 경우를 의미하며, MLP보다 더 깊은 네트워크로 복잡한 패턴을 학습 가능하게 하는 모델이라고 할 수 잇다.  

 

이는 1989년의 RNN(Recurrent Neural Network)의 구조로 이어졌다. RNN은 시계열 데이터, 자연어처리, 음성인식 등 순차데이터의 패턴을 학습할 수 있는 가능성을 열어주었다. 하지만 RNN은 기울기소실이라는 한계점을 지니고 있었다. 이는 학습이 진행될수록 과거 정보가 사라지거나(Gradient Vanishing), 기울기가 무한히 커져서(Exploding Gradient) 모델이 불안정해지는 문제가 발생하는 것이다. 현실적으로는 모델이 과거의 중요한 정보를 잊어버리는 문제가 발생하게 된다. 

 

이후 1990년대의 기초 딥러닝 알고리즘들이 발전되었다고 한다.

1997년의 LSTM (Long Short Term Memory)은 중요 정보는 기억하고 불필요한 정보는 잊어버리는 방식으로 기존의 RNN(Recurrent Neural Network)는 긴 시퀀스 학습시 기울기 소실 문제가 발생하는 것을 해결하여, 자연어처리, 음성 인식의 혁신을 가져왔다.

1998년의 Yann LeCun이 개발한 LeNet-5 모델은 CNN(Convolutional Neural Network, 합성곱 신경망)과 풀링계층(Pooling)을 도입하여 손글씨 숫자 인식을 성공시켰다. 

 

그리고 이는 하드웨어와 데이터의 발전과 맞물려 2010년대 딥러닝의 대중화와 혁신으로 이어졌다고 한다. 

2012년 제프리 힌턴의 팀이 이미지 분류 대회인 ImageNet에서 기존의 머신러닝 기법을 누르고 압도적인 성능으로 우승하면서, AlexNet이라는 CNN 기반모델이 이미지 분류 작업에 널리 사용되기 시작했다. 

이후 2014년 GAN(Generative Adversarial Networks)의 등장으로 생성자와 판별자가 경쟁하며 학습하며 가짜 데이터 생성까지 가능하게 했다. 

2015년 Microsoft 의 ResNet(Residual Network)는 딥러닝이 깊어질 수록 성능이저하되는 문제를 Skip Connection(잔차 연결)로 해결하여 매우 깊은 네트워크도 효율적으로 학습 가능하게 혁신을 이끌었다. 

이후 2017년 "Attention is All you Need"라는 논문과 함께 Transformer 모델이 등장하였는데, RNN 없이 '입력데이터의 중요한 부분에 더 많은 주의를 기울이는' Attention 메커니즘만으로도 자연어가 처리 가능하게 만들었다. 대표적으로 2018년의 BERT는 구글의 언어모델로 검색엔진 혁신을 가져왔으며, 챗 GPT도 이것을 기반으로 한다. 

 

현재 2020년대는 멀티모달 AI와 생성형 AI의 시대라고 할 수 있다. 멀티모달 AI는 텍스트, 이미지, 오디오를 동시에 처리하는 AI 모델로 대표적으로 CLIP이나 DALL-E 등이 있다. 생성형 AI는 텍스트, 이미지, 음악 등 새로운 콘텐츠를 생성하는데 사용된다. 또한 현재는 자연어처리 모델 또한 GPT, PaLM, LLaMA 등 초거대 규모의 모델이 개발되고 있으며, 이는 LLM(대규모 언어 모델)이라고 부른다. 

이 내용을 바탕으로 아주 간략하게 딥러닝 알고리즘을 정리해보자! 

인공신경망 / 딥러닝 알고리즘 종류	특징	활용 분야
ANN (인공신경망)	얕은 구조, 간단한 문제 해결가능 전체 신경망의 통칭으로 쓰이기도 함	기초적인 분류 및 회귀 문제
DNN (심층신경망)	여러 은닉층으로 복잡한 패턴 학습 가능함.	이미지 인식, 자연어 처리, 음성인식
CNN (합성곱신경망)	이미지와 영상 처리에 최적화됨	이미지 분류, 객체 탐지, 영상 분석
RNN (순환신경망)	시퀀스 데이터 처리에 특화된 구조	자연어 처리, 시계열 분석, 번역
LSTM (Long Short Term Memory)	RNN의 확장형으로 장기의존성 문제 해결	번역, 음성인식, 감정분석, 시계열예측
GAN (Generative Adversarial Networks)	생성자와 판별자가 경쟁하며 새로운 데이터 생성	이미지 생성, 딥페이크, 데이터 증강, 예술 창작
ResNet( Residual Network)	잔차 연결(Skip connectino)로 매우 깊은 신경망 학습 가능	이미지 분류, 객체 탐지, 영상 인식
Transformer	병렬 처리와 장기의존성 학습에 최적화된 모델	GPT, BERT 등 대규모 언어 모델 개발

 

대표적인 딥러닝 라이브러리들에는 TensorFlow, PyTorch, Keras, MXNet, Caffe 등이 있다. 

구글에서 만든 TensorFlow, 메타(페이스북)에서 만든 PyTorch, TensorFlow의 고수준 API인 Keras, 아마존 AWS의 공식 딥러닝 프레임워크인 MXNet(Apache), CNN 기반 작업에 최적화된 Caffe 등이 있다. 

 

보통은 딥러닝 입문 및 교육용으로 Keras를 쓴다고 한다. 간결한 코드와 직관적인 API로 학습이 쉽기 때문이다. PyTorch는 주로 AI 연구에서 많이 쓰며 이는 빠른 실험환경을 제공하기 때문이라고 한다. TensorFlow는 산업용 모델 배포와 대규모 서비스에 강점을 가지고 있으며, 커뮤니티가 활성화되어 있다고 한다. 

---

지금까지 머신러닝과 딥러닝의 종류와 역사, 그리고 대표적인 프레임워크에 대해서 공부해보았다. 

BRAND NEW 공부인만큼 흥미가 간다.