저항 점용접부 형상 및 파단 거동에 대한 머신러닝 모델 및 하이퍼파라미터 최적화
Machine Learning Modeling and Hyper-Parameter Optimization for Weld Nugget Formation and Failure Behavior of Resistance Spot Welds
Article information
Abstract
The welding process parameters of resistance spot welding are determined by quality indicators, such as nugget diameter, and tensile shear test behavior, such as failure load and location. In this study, deep-learning models were investigated to predict the quality indicators from base materials and process parameter information. For each model, hyperparameters, such as the number of hidden layers, number of nodes in the hidden layer, learning rate of the optimizer, and number of epochs, were optimized based on the model performance. The regression models for nugget diameter and failure load showed coefficients of determination of 0.90 and 0.95, respectively. Two models were developed to classify failure location: a 1-step model that estimates the failure location from the base material information and process parameters, and a 2-step model that estimates the failure location from the base material information and the nugget diameter as predicted by the developed regression model. The classification models for failure location showed similar accuracies of approximately 90%.
1. 서 론
저항 점용접은 박판에 전류를 흘려 저항열을 발생시키고 이를 통해 용접 너깃을 형성하는 용융용접기법으로 자동차 생산에서 가장 중요한 용접공정이다. 저항 점용접에서 가장 중요한 공정인자는 통전 시간, 용접 전류, 전극 가압력이다. 적정한 직경의 용접너깃을 형성하여 접합부의 하중전달력를 확보하고 날림(expulsion)을 방지하여 건전한 용접부를 형성하기 위해 세 공정인자를 최적화하고 있으며, 적정 용접구간은 로브(lobe) 곡선 형태로 제시된다.
고강도강의 사용이 증가하면서 적정 용접조건이 기존 연강과 다른 구간으로 설정되고 있으며1), 고강도강에 적합한 다양한 용접공정변수가 제안되고 있다2-4). 자동차용 소재의 두께가 t인 경우 저항 점용접 너깃의 직경을 4√t 이상으로 설정하였으나, 최근 고강도강의 경우 이 값이 충분하지 못하여 소재의 두께와 용접부의 강도분포를 동시에 고려된 모델들이 제안되고 있다5). 고강도강의 저항 점용접부 파단 시험에서는 너깃이 충분한 하중 전달을 하지 못할 경우 나타나는 계면 파단(interfacial fracture, IF)과 하중 전달이 충분할 경우에 나타나는 버튼 파단(pullout fracture, PF)이 대표적인 파단모드인데, 소재의 종류와 너깃의 직경에 따른 거동을 설명하기 위하여 용접부의 금속학적 조성, 경도분포, 인장시험에서의 변형거동 등에 대한 모델이 보고되었다6-11). 2010년 이후 핫프레스 포밍강의 자동차 적용이 확대되면서 1.5 GPa에서 2.0 GPa 강도의 소재에 대한 용접성이 검토되고 있다12-17). 또한 소재 경화도 예측을 핫프레스 포밍강 등 초고강도강으로 확대하여18), 소재 화학성분에 따른 저항 점용접부의 파단모드 예측연구도 소개된바 있다19). 저항 점용접부의 형상 및 성능의 최적화는 실험 모사20), 전산해석21), 실험계획 및 반응표면법22), 신경망 적용23) 등 다양한 방법론을 통해서 시도되었다.
보다 최근에는 딥러닝 및 머신러닝 기법을 용접분야에 적용하려는 시도가 확대되고 있다. Lee et al.은 CNN 기반 딥러닝을 용접분야에 적용한 사례24)와 모델의 평가 및 시각화 동향25)에 대하여 보고하였다. Lee et al.26)은 Al/Cu 이종재료의 겹치기 레이저 용접부에 대한 용접 특성에 대한 머신러닝 모델링을 수행하였으며, You et al.27)은 고강도강 겹치기 레이저 용접부의 형성과 파단모드에 머신러닝 모델을 적용한 결과를 발표하였다. 딥러닝 모델의 경우 2개 이상의 은닉층을 채택하므로 비선형 시스템의 모델링에 적합한 특성을 가지고 있으나 과적합(overfitting) 발생의 우려가 있어 모델에 의한 결정계수(coefficient of determination, R2)가 높으면서도 가급적 단순한 모델을 선호한다. 따라서 딥러닝 모델링에서는 하이퍼파라미터(hyper- parameter)라고 불리는 내부 변수들(은닉층 수, 은닉층의 노드 수, 최적화 함수의 변수 등)의 최적화가 요구된다. 본 연구에서는 고강도강 저항 점용접 데이터를 수집하여 공정인자와 용접부 형상 및 파단거동에 대한 딥러닝 모델을 제안하고자 했으며, 이 때 각 모델에 대한 하이퍼파라미터 최적화를 적용하고자 한다.
2. 데이터 수집 및 모델링 방법
2.1 데이터 수집
본 연구에서는 논문에 공개된 다양한 동종·이종 고강도 강판의 저항 점용접부에 대한 데이터를 수집해서 용접 너깃 형상, 파단 강도 및 파단거동에 대한 기계학습 예측모델을 구축하였다9,11,19,28-30). 예측모델에 사용된 소재는 440 MPa부터 1500 MPa까지의 인장강도를 가지는 고강도강으로, 소재 두께 범위는 0.95-2.22 mm이다. 데이터에 사용된 용접조건의 범위는 용접 전류는 4-12 kA, 가압력은 1.96-5.3 kN, 용접시간은 200- 400 ms 까지고, 문헌에서 수집한 총 데이터의 개수는 224개이다.
용접부 형상을 대표하는 너깃 직경, 용접부 강도인 인장전단 파단하중 값에 대해서 소재 및 용접 파라미터에 대한 회귀모델을 개발하였다. 용접부 인장전단시험에서 파단모드의 경우 계면 파단과 버튼 파단에 대한 분류모델을 개발하였다.
2.2 딥러닝 입출력 정의
2.2.1 회귀모델을 위한 데이터 준비
너깃의 직경과 용접부 인장전단 파단하중 예측을 위한 머신러닝 모델에서는 Table 1과 같이 상하판 소재의 강도 및 두께, 전극 가압력, 용접 전류, 통전 시간을 입력으로 준비하였으며, 결과로는 너깃의 크기 및 인장전단시험 파단하중로 설정하였다.
Input and output parameters to construct machine learning models for the 1-step model
2.2.2 분류모델을 위한 데이터 준비
인장전단시험에서 파단모드의 예측을 위한 머신러닝 모델에서는 2가지 형태의 모델을 검토하였다. 첫 번째 모델은 Table 1과 같이 상하판 소재의 강도 및 두께, 전극 가압력, 용접전류, 통전 시간을 입력으로 하고, 파단모드를 결과로 하는 1-스텝 모델이다. 두 번째 모델은 Table 2와 같이 소재의 강도 및 두께, 너깃 직경으로부터 파단모드를 예측하는 모델이다. 두 번째 모델의 경우 첫 번째 모델에서 소재 및 용접파라미터 정보를 이용하여 너깃 직경을 예측하는 서브 모델 1과 다시 소재 정보와 너깃 직경 모델만을 이용해서 파단을 예측하는 서브모델 2로 나눠서 학습하였다. 서브 모델 1은 용접기 특성이 반영되므로 설정값 혹은 평균 측정값만으로 표준화가 어려운 특징을 가지고 있어 기존 연구에서는 주로 서브 모델 2에 대해 연구가 많이 진행되었다. 이 경우 소재 특성을 반영할 경우 상당히 정확한 이론적 예측이 가능하다고 알려져 있어7,23), 별도로 모델 적합성을 검토하고자 하였다.
Input and output parameters to construct machine learning model for the 2-step model using predicted nugget diameter
2.3 딥러닝 학습모델
본 연구에서는 너깃의 형상과 인장전단 파단하중 예측을 위한 2개의 회귀모델과 파단모드 예측을 위한 1-스텝 및 2-스텝 분류모델을 개발하였다. 딥러닝 신경망을 구축할 때 최적화할 하이퍼파라미터를 선정하고, 특정 범위 내에서 일정 간격으로 하이퍼파라미터 값을 선택하여 가장 높은 성능을 발휘하는 하이퍼파라미터 값을 도출해낼 수 있는 그리드 탐색(grid search)32)을 사용하여 Table 3과 같은 범위에서 최적화를 수행하였다.
Range of hyperparameters in the optimization
회귀모델의 경우 은닉층에서는 ReLU(Rectified Linear Unit) 함수와 출력층에서는 항등 함수를 활성화 함수로 이용하였다. 분류모델의 경우 이진분류를 위해서 은닉층에서는 ReLU 함수와 출력층에서는 Sigmoid 함수를 활성화 함수로 이용하였다. 딥러닝 네트워크의 가중치를 최소화하기 위한 손실 함수로는 평균제곱오차와 크로스엔트로피 함수를 회귀모델과 분류모델에 각각 이용하였다. 최적화 함수로는 확률적 1차 미분값에 기반한 Adam (Adaptive Moment Estimation) 최적화 함수를 사용하였으며, 수식은 아래와 식 (1)같다.
여기에서 m은 1차 모멘트 벡터, v는 2차 모멘트 벡터, w는 가중치, J는 확률적 목적함수 (stochastic objective function), t는 시간 스텝, β1, β2는 업데이트에 이용한 계수, ε는 미소값이다33). 손실 함수의 편미분값을 이용하여 가중치와 바이어스를 업데이트할 때 사용하는 계수인 β1=0.9, 편미분값의 제곱을 이용하여 업데이트할 때 사용한 계수 β2=0.999, 미소 값 ε=1e-8을 사용하였다.
모델을 학습할 때는 총 224개의 데이터 세트를 70:15: 15 비율로 훈련, 검증, 테스트 데이터로 나누고 무작위로 배치하였다. 학습 중 과적합을 방지하기 위해서 모델 네트워크의 복잡도가 손실함수에 반영되는 가중치 규제 방법을 사용했다.
분류모델에서 파단모드 데이터는 계면 파단을 0, 버튼 파단을 1로 지정하였다. 구축한 파단모드 예측 모델을 실제 산업에 적용할 경우 제품 품질에 가장 치명적인 영향을 미치는 오류인 실제로는 계면 파단이 발생했으나 버튼 파단으로 예측한 경우를 거짓 버튼 파단모드(false pullout failure mode)라고 정의하였다. 이를 감소시키기 위해 파단모드를 나누는 컷오프 포인트를 0.5, 0.6, 0.7로 설정하고 값에 따른 거짓 버튼 파단모드 개수를 확인하였다.
3. 결과 및 토론
3.1 회귀모델 학습
3.1.1 너깃 직경
너깃 직경을 회귀모델로 예측하기 위한 딥러닝 모델의 하이퍼파라미터를 최적화한 결과 Table 4와 같이 은닉층 1개, 은닉층 노드 수 16개, 학습률 0.01, 학습 반복 횟수 200번이 최적화된 하이퍼파라미터로 도출되었다.
Optimized hyperparameters for nugget diameter estimation
최적화된 하이퍼파라미터로 학습한 결과는 Fig. 2와 같이 테스트 데이터에서도 0.90 이상의 결정계수를 가지고 있어 어느 정도 정확한 예측이 가능함을 확인하였다.
Nugget diameter estimation results using the developed deep learning mode. [Experimental data from Ref. 9,11,19,28-30]
Classification models for fracture mode estimation: (a) 1-step model and (b) 2-step model
모델의 적합성을 판단하기 위해서 실제 측정치와 모델 예측치의 차이에 기인한 잔차(residual)의 산점도를 통해 나오는 패턴을 가지고 설명변수의 유의성을 검정할 수 있는 잔차 분석을 실시하였다. 잔차 분석을 통해 2개의 데이터 포인트에서 동일 입력조건에서 상이한 출력이 지정되어 있음이 확인되었다.
2.1절에서 표기한 것과 같이 여러 저자의 논문에서 데이터를 수집하였으나, 자동차용 고강도강의 종류 및 사용 두께가 개략적으로 유사하여 동일한 조건으로 서로 다른 저자들이 평가하여 일치하지 않는 결과를 도출한 것으로 출력을 평균하여 사용하고 하나의 데이터 포인트를 제거하는 것이 바람직하다고 사료된다.
3.1.2 인장전단 파단하중
저항 점용접 겹치기 용접부의 인장전단시험에서 파단하중 예측을 위한 딥러닝 모델의 하이퍼파라미터를 최적화한 결과 Table 5와 같이 은닉층 1개, 은닉층 노드 수 20개, 학습률 0.01, 학습반복횟수 1,000번이 최적화된 하이퍼파라미터로 도출되었다.
Optimized hyperparameters for failure load estimation
인장전단 파단하중에 대한 학습결과 Fig. 3에서 학습 데이터뿐만 아니라 검증, 테스트 데이터에서도 0.93 이상의 우수한 결정계수를 가지는 것을 확인하였다. 앞 절의 너깃 직경 예측과 같이 파단하중 데이터에서도 2개의 데이터가 동일한 소재 및 공정조건에서 차이가 큰 인장전단 파단하중이 출력으로 지정되어 모델의 정확도를 감소시키는 원인이 되었다.
Failure load estimation results using the developed deep learning mode [Experimental data from Ref. 9,11,19,28-30]
3.2 분류모델 학습
3.2.1 1-스텝 파단모드 분류모델
Table 6은 파단모드에 대한 1-스텝 분류모델에 대한 하이퍼파라미터 최적화 결과로, 은닉층은 1개, 은닉층을 구성하는 노드의 수는 32개, 학습률은 0.001, 학습 반복 횟수는 100번일 때 최적화된 결과를 얻었다.
Optimized hyperparameters for the 1-step failure mode classification
모델은 Sigmoid 함수를 활성화 함수로 지정함에 따라 0에서 1사이 값을 출력하는데 파단모드를 계면파단(모드 0)과 버튼파단(모드 1)을 나누는 기준, c(cut-off point)를 0.5, 0.6, 0.7로 설정하여 정오분류표(con- fusion matrix)를 Figs. 4-6에 각각 나타내었다. 정오분류표에서 실제와 예측값 조합에 해당하는 빈도 수가 행렬 내에 표시되고 각 행과 열에서의 정확도(파란색)와 부정확도(붉은색)가 같이 표기되었다.
Confusion matrices of failure mode classification using the 1-step model (c=0.5)
Confusion matrices of failure mode classification using the 1-step model (c=0.7)
Confusion matrices of failure mode classification using the 1-step model (c=0.6)
c가 0.5, 0.6, 0.7일 때 훈련 데이터의 정확도는 각각 95.5%, 93.6%, 91.0%이고, 테스트 데이터의 정확도는 각각 91.2%, 91.2%, 88.2%로 c가 커질 때 모델의 정확도는 5% 이내에서 다소 감소함을 알 수 있다.
실제 산업 적용에 가장 큰 문제를 발생시킬 것이라고 예상되는 거짓 버튼 파단모드에 대해 c값별로 비교하였을 경우 모두 동일한 개수의 오류가 발생하여 차이가 없음을 확인하였다. 따라서 거짓 버튼 파단모드를 예측한 개수가 다른 모델보다 크지 않고 정확도가 높은 0.5를 c값으로 설정했을 때의 결과가 가장 우수하다고 판단된다.
3.2.2 2-스텝 파단모드 분류모델
2-스텝 파단모드 분류모델에서는 첫 서브모델에서 너깃의 직경을 예측하는 회귀모델을 적용하고, 두 번째 서브모델에서 소재조합과 너깃 직경에 따른 파단모드를 분류하는 모델이다. 앞 절에서 확인한 것과 같이 파단모드 이진분류를 위한 기준값 c는 0.5를 분류모델에 사용하였다.
Table 7은 2-스텝 파단모드 분류를 위한 딥러닝 모델의 하이퍼파라미터 최적화 결과를 보여준다. 은닉층 1개, 은닉층을 구성하는 노드의 수는 32개, 학습률은 0.01이며, 학습 반복 횟수는 200번일 때 최적화된 결과를 보여주었다.
Optimized hyperparameters for the 2-step failure mode classification
Fig. 7은 학습 결과를 나타내며 테스트 결과에서 1- step 모델과 유사한 88.2%의 정확도가 확인되었다. Fig. 2에서 너깃직경 예측모델의 결정계수가 90% 수준임을 고려하면 모델의 정확도에서 서브모델 2보다는 서브모델 1의 정확도가 전체 정확도에 영향을 주었을 가능성이 높다. 또한, 정오분류표 상에서 거짓 버튼 파단모드에 해당하는 오류가 존재하지 않아 의미 있는 모델로 사용 가능할 것으로 사료된다.
Confusion matrices of failure mode classification using the 2-step model (c=0.5)
4. 결 론
본 연구에서는 고강도강 겹치기 저항 점용접부의 너깃 직경, 인장전단 시험에서의 파단하중과 파단모드를 예측하기 위한 딥러닝 모델을 개발하고자 하였으며, 224개의 공개된 데이터로 학습을 수행하여 모델링을 수행한 결과는 아래와 같다.
1) 딥러닝 모델을 최적화하기 위해 은닉층의 개수, 은닉층 노드의 개수, 학습률, 학습 반복 횟수를 최적화하였다. 본 연구에서 사용한 모델의 경우 상대적으로 간단한 입출력 관계를 가지고 있어서 은닉층이 하나인 얕은 신경망으로 최적화 모델이 제안되었으며, 총 4개의 모델 중 1-step 분류 모델을 제외한 3개의 모델은 설정한 최대 노드 개수(32개)보다 작은 노드 개수(16개 혹은 20개)에서 최적화되었다.
2) 너깃 직경과 파단 하중은 테스트 데이터에서 각각 90%, 95%의 결정계수 값을 가지는 회귀모델로 학습되었다. 오차의 원인은 동일한 입력변수에 대해서 다른 저자들에 의한 연구가 수행되어 동일하지 않는 결과가 제시되었기 때문이다. 평균값 처리 등을 통해 이를 제거할 경우 회귀모델들의 결정계수는 더 높아질 것으로 예상된다.
3) 소재 정보, 공정파라미터 정보로부터 파단모드를 구하는 1-스텝 모델과 너깃직경 회귀모델과 소재정보를 이용하여 파단모드를 구하는 2-스텝 모델의 정확도를 비교평가하였다. 모델간의 정확도는 약 3 %의 차이가 발생되었으나, 거짓 버튼 파단모드로 잘못 예측한 경우가 없는 것을 확인할 수 있었다. 2-스텝 모델의 서브모델 2의 경우 소재정보와 너깃 직경을 이용하여 파단모드 예측이 가능하므로 별도 모델로도 활용이 가능할 것으로 판단된다.
Acknowledgements
We acknowledge the financial and technical support provided by the Korea Institute of Industrial Technology (EH-21-030).
Experimental works from a former researcher Mr. I. H. Jeon and valuable comments from Prof. Youngdo Park of Donguei University are appreciated.