ADsP 데이터 분석 준전문가 PART 03 - 5장 _2 정형 데이터마이닝

< 인공신경망 분석 >

- 인간 뇌를 기반으로 한 추론 모델

- 뉴런 : 기본적인 정보 처리 단위

# 역전파 알고리즘 : 비선형성의 한계점 발생 -XOR 문제를 풀지 못하는 한계 극복!

​

# 인간 뇌의 특징

- 100억 개의 뉴런, 6조 개의 시냅스의 결합체

- 인간의 뇌 : 현존하는 어떤 컴퓨터보다 빠르고, 복잡하고, 비선형적, 병렬적인 정보 시스템과 같음

- 적응성에 따라 '잘못된 답' -> 뉴런들 사이의 연결 약화, '올바른 답' -> 연결 강화

​

# 인간의 뇌 모델링

- 뉴런은 가중치가 있는 링크들로 연결

- 뉴런은 여러 입력 신호를 받지만 출력 신호는 오직 하나만 생성

​

# 인공 신경망의 학습

- 신경망: 가중치를 반복적으로 조정하며 학습

- 뉴런 : 링크로 연결, 각 링크 : 수치적인 가중치

- 인공신경망은 신경망의 가중치를 초기화 -> 훈련 데이터를 통해 가중치 갱신 -> 신경망의 구조 선택 -> 활용할 학습 알고리즘 결정 => 신경망 훈련

​

# 인공신경망의 특징

1) 구조

- 입력 링크에서 여러 신호를 받아서 새로운 활성화 수준 계산 -> 출력 링크로 출력 신호를 보냄(1개만)

- 입력 신호 : 미가공 데이터 또는 다른 뉴런의 출력

- 출력 신호 : 문제의 최종적인 해 또는 다른 뉴런에 입력

​

2) 뉴런의 계산

- 전이함수, 즉 활성화 함수 사용

- 활성화 함수 이용 -> 출력을 결정, 입력 신호의 가중치 합을 계산하여 임계값과 비교

- 가중치 합이 임계값보다 작으면 뉴런의 출력은 -1, 같거나 크면 +1 출력

​

3) 뉴런의 활성화 함수

* 시그모이드 함수인 경우 : 로지스틱 회귀분석과 유사, 0~1의 확률 값

* softmax 함수 : 표준화 지수 함수, 출력 값 여러 개, 목표치가 다범주일 경우 각 범주에 속할 사후 확률 제공하는 함수

- Relu 함수 : 입력값이 0 이하는 0, 0 이상은 x값을 가지는 함수, 최근 딥러닝에서 많이 활용

​

4) 단일 뉴런의 학습(단층 퍼셉트론)

- 퍼셉트론 : 선형 결합기, 하드 리미터

- 초평면: n차원 공간을 두 개의 영역으로 나눔, 선형 분리 함수

​

# 신경망 모형 구축 시 고려사항

1) 입력 변수

신경망 모형은 그 복잡성으로 인하여 입력 자료의 선택에 매우 민감

- 범주형 변수 : 모든 범주에서 일정 빈도 이상의 값 갖고, 각 범주의 빈도가 일정할 때

- 연속형 변수 : 입력 변수 값들의 범위가 변수 간의 큰 차이가 없을 때 -> 변환, 범주화

​

* 변환 : 고객의 소득(대부분 평균 미만, 특정 고객의 소득이 매우 큼) : 로그 변환

* 범주화 : 각 범주의 빈도가 비슷하게 되도록 설정 => 같은 범위를 갖도록 가변 수화하는 것이 좋음

​

2) 가중치의 초기값과 다중 최소값 문제

역전파 알고리즘 : 초기값에 따라 결과가 많이 달라짐 -> 초기값의 선택은 매우 중요한 문제

- 가중치 0 : 시그모이드 함수 -> 선형, 신경망 모형 -> 근사적으로 선형 모형

- 일반적으로 초기값은 0 근처로 랜덤 하게 선택함 -> 초기 모형 : 선형 모형에 가까움, 가중치 값이 증가할수록 비선형 모형

​

3) 학습 모드

가) 온라인 학습 모드 : 각 관측값을 순차적으로 하나씩 신경망에 투입 -> 가중치 추정 값이 매번 바뀜

: 속도가 빠름, 특히 훈련자료에 유사 값이 많은 경우 그 차이 두드러짐

: 비정상성과 같은 특이한 성질을 가진 경우가 좋음, 국소 최솟값에 벗어나기 쉬움

나) 확률적 학습 모드 : 온라인 학습모드와 같으나 신경망에 투입되는 관측값의 순서가 랜덤

다) 배치 학습 모드 : 전체 훈련자료를 동시에 신경망에 추입

​

4) 은닉층과 은닉 노드의 수

* 신경망을 적용할 때 가장 중요한 부분이 모형의 선택! (은닉층의 수와 은닉 노드의 수 결정)

은닉층과 은닉 노드의 수 ↑ : 가중치가 많아져 과대적합 문제 발생

은닉층과 은닉 노드의 수 ↓ : 과소적합 문제 발생

은닉층의 수 1개 => 범용 근사자 : 모든 매끄러운 함수를 근사적으로 표현할 수 있음 따라서 가능하면 은닉층은 하나로 선정

** 은닉노드의 수는 적절히 큰 값으로 놓고 가중치를 감소시키며 적용하는 것이 좋음

​

5) 과대 적합 문제

- 신경망에서는 많은 가중치 추정해야 함 -과대 적합 문제 빈번

-> 알고리즘의 조기 종료와 가중치 감소 기법으로 해결

(모형이 적합하는 과정에서 검증 오차가 증가하기 시작하면 반복을 중지하는 조기 종료 시행)

- 선형 모형의 능형 회귀와 유사한 가중치 감소라는 벌점화 기법 활용

​