맞대기 V형 그루브의 GMA 초층용접에서 합성곱 신경망을 이용한 이면비드 발생 예측 모델 개발

Convolutional Neural Network Model for the Prediction of Back-Bead Occurrence in GMA Root Pass Welding of V-groove Butt Joint

Article information

Journal of Welding and Joining. 2021;39(5):463-470
Publication date (electronic) : 2021 October 19
doi : https://doi.org/10.5781/JWJ.2021.39.5.1
이형원*,**orcid_icon, 유지영*orcid_icon, 김광국*,**orcid_icon, 김영민*orcid_icon, 황인성*,**orcid_icon, 이승환**orcid_icon, 김동윤*,**,orcid_icon
* 한국생산기술연구원 접합적층연구부문
* Advanced Joining & Additive Manufacturing R&D Department, Korea Institute of Industrial Technology, Incheon, 21999, Korea
** 한양대학교 융합기계공학과
** Hanyang University Department of Mechanical Convergence Engineering, Seoul, 04763, Korea
†Corresponding author: kimdy@kitech.re.kr
Received 2021 September 8; Revised 2021 September 27; Accepted 2021 October 6.

Abstract

Gas metal arc (GMA) welding is widely used in the machinery industry. The quality of a welded joint is affected by the penetration of root pass welding in the V-groove joint. Automation using GMA welding is continuously required, and root pass welding automation is required to automate the entire welding process. In particular, the development of a prediction model that can ensure full penetration back-bead is required for the automation of root pass welding. In this study, a convolutional neural network (CNN) model was applied to predict the occurrence of back-bead in V-groove butt joint GMA root pass welding. The bead profile was measured using a laser vision sensor system and it was used as the input data for the prediction model, and the bead occurrence was used as the output data for the model. A total of 12,873 bead profiles were extracted and pre-processed through cutting, resizing, and thresholding. The CNN model consists of nine layers, and performs three convolution and two pooling operations. The accuracy of the prediction model was 99.5%, and through this study, it was demonstrated that the quality of root-pass welding can be controlled by using convolutional neural network and it can contribute to automation.

1. 서 론

조선업, 중공업 등 산업기계분야에서는 용접 변수의 선택에 따라 요구하는 품질의 용접이 가능한 가스 메탈 아크 용접(gas metal arc welding, GMAW)이 많이 적용되고 있다. 조선업 및 중공업에서 소재는 두께가 두껍고 이음부의 형상은 V형 맞대기와 T형 필렛 형상들로 주로 이루어져 있으며, 다층용접을 수행하고 있다. 그 중, V형 이음부에서 초층용접의 용입 여부는 용접 접합부의 품질을 결정하는데 주요한 요소이고, 완전 용입과 부분 용입을 확인함으로써 평가된다. 초층용접은 용접중 실시간으로 발생하는 변수에 대응하기 위해 숙련된 작업자에 의해 진행되는 중이다. 하지만 용접의 특수성에 의하여 숙련된 작업자가 부족한 실정이다. 따라서 초층용접 자동화가 필요하며 이를 실현하기 위하여 다양한 용접 조건과 실시간으로 발생하는 변수에 대응하여 이면비드를 검사할 수 있는 실시간 검사 및 예측모델의 개발이 선행되어야 한다. 이와 관련하여 이면비드 발생 및 용접부 형상을 예측하기 위하여 연구가 수행되고 있다. Khanna등은 통계 모델을 이용하여 용접 변수들과 용접부 형상의 상관관계를 분석하였다1). Lee 등은 회귀 모델을 이용하여 작업각 (work angle)과 진행각 (travel angle)의 변화에 따른 용입 깊이를 추정할 수 있는 근사식을 도출하였다2). Kim등은 비드 너비를 예측하기 위해서 용접 전류, 아크 전압, 용접 속도, 시편의 경사각 (gradient angle)의 상관관계를 회귀분석법과 반응표면분석을 사용하였다3). Park등은 V형 개선을 갖는 이음부의 초층용접에서 최적의 공정 변수를 예측하기 위하여 다중 회귀분석을 사용하였다4).

입력 변수와 출력 변수의 상관관계 및 연속성이 있을 경우에서만 통계 모델의 예측 정확도가 높아진다는 단점이 있기 때문에 이를 극복하기 위하여 인공신경망을 이용한 예측 모델 개발이 증가하고 있다. Lee등은 artificial neural network (ANN)을 활용하여 용접 공정 조건을 기반으로 이면비드 형상을 예측하였으며, Manikya등은 용접 공정 조건에 대하여 back propagation network (BPN) 모델을 이용하여 용입 깊이, 비드 폭, 비드 높이와 같은 용접부 형상을 예측하였다5,6). Deep neural network (DNN) 모델을 활용하여 용접전류 및 전압에 대해 용입 깊이, 비드 폭, 비드 높이와 같은 용접부 형상을 예측한 연구도 수행되었다7,8). 근래에는 머신 비전 카메라, 스펙트로미터 등의 다양한 종류의 센서를 통해 용접 정보를 취득하는 연구가 증가하고 있는 상황이며, 이들 센서에서 측정되는 영상 데이터를 이용한 품질 예측을 위해 합성곱 신경망 (convolution neural network, CNN) 모델이 적용되고 있다. Jin등은 전류 파형을 입력 변수로 이면비드 발생을 예측하였다9,10). Martinez등은 고속 카메라로 촬영한 아크 이미지를 입력 변수로 활용하여 용입 깊이, 비드 높이 및 폭을 예측하였다11). Jiao등은 입력 변수로 아크와 용융풀의 영상을 비전 카메라로 촬영하였고, 용입 깊이를 예측하였다12). Nomura등은 용락 (burn through)을 예측하기 위하여 비전 카메라로 촬영한 아크 이미지를 입력 변수로 예측모델을 제작하였다13). Xia등은 용접 공정 중에 비전 카메라로 촬영한 아크 이미지를 입력 변수로 사용하여 용접 품질을 예측하였다14). 다양한 센서로 취득된 용접정보를 통해 용접 품질을 예측할 수 있는 CNN 모델이 개발 중에 있다.

본 연구에서는 레이저 센서를 통해 획득한 데이터를 이용하여 용접 이면비드 발생을 예측할 수 있는 모델을 개발하였다. 용접 소재 두께 25 mm 의 V 형 그루브 용접 시편에서 GMA 용접을 수행하였고, 레이저 비전 센서를 활용하여 상면 비드 형상 정보를 취득하였다. 취득된 비드 형상 정보를 입력 변수를 사용하여 이면비드 발생을 예측할 수 있는 CNN 모델을 개발하였다. CNN 모델의 입력 변수를 생성하기 위하여 상면 비드 형상 정보의 크기 및 회색도를 변경하고, threshold 과정과 같은 전처리를 수행하였다. 3개의 합성곱 층과 2개의 풀링 층으로 구성되어 있는 CNN예측 모델을 채택하여 이면비드 발생을 99.5% 정확도로 예측하였다.

2. 실험 방법

2.1 용접 재료 및 그루브 형상 정보

본 연구에서 사용된 용접 소재는 두께 25 mm인 SM490이며, 용접 와이어는 직경이 1.2 mm인 AWS A5.18 ER70S-6을 사용하였다. Fig. 1는 용접 그루브 형상의 모식도를 보여준다. 용접 시험편은 50 × 300 × 25 mm크기 시편 2 개에 대하여 맞대기 V형 그루브를 사용하였다. AWS 규격을 참조하여 V형 그루브의 개선각 60°, 루트면 3 mm로 고정하였고15), 루트 간격은 0 - 2 mm로 총 3 수준으로 선정하였다. 루트 간격을 유지하기 위해서 맞대기 이음 양 끝에 가용접하였고, 세라믹 백킹제를 용접 시험편 후면에 부착하여 실험을 수행하였다.

Fig. 1

Welding joint schematic

2.2 용접 조건

본 용접실험에서 사용한 용접전원은 Daihen사의 WB- W350을 사용하였으며, 전류 타입은 DC standard를 적용하였다. 와이어 송급 속도는 12 m/min으로 고정하였고, 동일 와이어 송급 속도에서 용접 전압을 22.0 - 30.0 V으로 변화시켜 이면비드의 발생 여부를 확인하였다. 용접속도는 30 cm/min, contact tip to work piece distance (CTWD)는 25 mm, 보호가스는 CO2 100%를 사용하였으며 25 ℓ/min의 유량으로 고정하였다.

2.3 레이저 비전 센서 시스템을 활용한 상면 비드 형상 정보 추출

용접부 상면의 형상 정보를 추출하기 위하여 레이저 비전 센서 시스템을 사용하였다. Fig. 2는 본 연구에서 사용된 레이저 비전 센서 시스템의 모식도 및 외관 사진을 보여주며, Table 1에는 레이저 비전 센서 시스템의 사양을 나타낸다. 레이저 비전 센서 시스템의 분해능은 X축으로 0.02 mm, Z축으로 0.02 mm이다. 측정 폭은 X축으로 45 mm, 측정 깊이는 Z축으로 38 mm로 고정하였다. 측정 방향은 Y축으로 이송 속도를 7 mm/s로 진행하여 초당 100 회로 비드 형상 정보를 수집하였다. Fig. 3은 레이저 비전 센서 시스템을 활용하여 비드 형상 정보를 추출한 영상 데이터이다.

Fig. 2

Laser vision sensor system schematic and appearance

Laser vision sensor system specification

Fig. 3

Example of bead profile by laser vision sensor system

2.4 CNN 모델을 이용한 이면비드 발생 예측 모델 개발

V형 그루브에서 GMA 초층용접부의 이면비드 발생을 예측하기 위하여 CNN 모델을 적용하였다. CNN은 딥 러닝 모델의 한 종류이며, 주로 영상 데이터를 처리하는데 사용된다. CNN 모델은 이미지에서 특징점을 추출하여 습득된 특성맵 (feature map)을 이용하여 학습을 진행한다. 특성맵은 가중치를 가진 커널 (kernel)을 활용한 연산 과정을 거치며, 이 과정을 합성곱 (con- volution)이라 한다. 합성곱이 진행되는 층을 합성곱 층 (convolution layer)이라고 한다. 그리고 풀링 (pooling)이라는 과정을 통해 특성 맵의 데이터를 강조하며, 풀링이 진행되는 층을 풀링 층 (pooling layer)이라고 한다.

이면비드 발생을 예측하는 CNN 모델은 지도학습 모델중 분류 모델을 이용하였으며, 3 개의 합성곱 층과 2 개의 풀링 층을 이용하여 구성하였다. 지도학습은 사전에 분류된 입력 변수를 통해 학습을 진행한 뒤 새로운 데이터에 대하여 예측을 진행하는 방법이며, 분류 모델은 예측하는 결과 값이 이산 값 (discrete value)일 때 사용한다.

본 연구에서는 V형 그루브에서 GMA 초층용접을 수행하여 레이저 비전 센서 시스템을 통해 상면 비드 형상 정보를 추출하였다. 추출한 상면 비드 형상 정보를 입력 변수를 통해 이면비드 발생 유무를 분류하였다.

3. 실험 결과 및 고찰

3.1 GMA 초층용접 이면비드 발생 유무 데이터 확보

Fig. 4는 루트 간격와 용접전압에 따른 GMA 초층용접 후 상면 및 이면비드의 외관 형상을 보여준다. 와이어 송급속도, 용접 속도 등 대부분의 용접조건 변수들은 고정한 상태에서 용접전압을 변경하여 이면비드 발생 유무 데이터를 확보하였다. 루트 간격이 존재하지 않은 경우, 와이어 송급 속도 12 m/min, 용접 전압 26.7 V, 용접 속도는 30 cm/min 에서 Fig. 4 (a)와 같이 적정 용접 구간으로 판단하였다. 적정 용접 조건을 기반으로 3 수준의 루트 간격에서 용접 전압을 실험 중에 임의로 변경하였으며, 이에 따라 이면비드가 다르게 발생함을 확인하였다. Fig. 4 (a)와 같이 루트 간격 0 mm 에서는 용접 전압을 26.7 V로 고정하였을 때, 아크 발생 후 용접길이가 약 40 mm까지는 이면비드가 발생하지 않았고, 40 mm이후에서는 이면비드가 발생하였다. Fig. 4 (b), (c)는 루트 간격 0 과 1 mm에서 용접 전압을 22.0 - 30.0 V사이에서 임의로 변경하였고, 이면비드 발생 유무를 확인하였다. Fig. 4 (d) 경우 루트 간격 2 mm에서 용접 전압의 변화에 관계없이 모든 구간에서 이면비드가 발생하였다.

Fig. 4

Welding bead appearances according to experimental conditions

3.2 데이터 분류

GMA 초층용접 후 레이저 비전 센서를 이용하여 4개의 용접 시험편에서 총 12,873장의 비드 형상 정보를 추출하였다. CNN 모델의 입력 변수로 사용할 비드 형상 정보에 대해 사전에 분류를 수행하였다. Fig. 5와 같이 이면비드가 발생된 구간의 상면 비드 형상 정보를 Class 1, 이면비드가 발생되지 않은 구간의 상면 비드 형상 정보를 Class 0으로 분류하였다. 이면비드 발생을 판별하기 위하여 용접 시험편의 이면에서 레이저 비전 센서 시스템을 통해 용융된 돌출 높이, 즉 용입 깊이를 측정하였다. 용입 깊이가 0.2 mm 이상인 경우에서 건전한 완전 용입이 발생하였고, Class 1로 선정하였다.

Fig. 5

Bead profile classification

3.3 데이터 전처리

Fig. 6와 같이 레이저 비전 센서 시스템에서 추출한 형상 정보를 CNN 모델의 연산 속도 향상을 위하여 픽셀 크기를 500 × 400 pixel로 전처리하였다. 픽셀 크기를 500 × 400 pixel로 선정한 이유는 본 연구에서 루트 간격, 비드 폭 및 비드 높이 등 비드 형상과 관련된 정보가 모두 표현되는 최소 크기로 판단되었기 때문이다.

Fig. 6

Preprocessing of bead profile

레이저 비전 센서 시스템에 의해 획득된 비드 형상 정보는 RGB (red, green, blue)채널을 포함하도록 설정이 되어 있어 3 개의 색상 채널을 가지고 있다. 비드 형상 정보의 색상 채널을 3 개에서 1 개로 줄이는 것이 CNN 모델의 연산속도를 향상 시킬 수 있기 때문에 Fig. 7와 같이 이미지를 회색도로 변환한 후 threshold를 통해 비드 형상을 전처리하였다. 또한 연산속도 향상을 위해 채택한 추가적인 방법으로 비드 형상 정보의 크기는 500 × 400 pixel에서 125 × 100 pixel로 변경하여 전처리를 진행하였다.

Fig. 7

Bead profile resizing and threshold procedure

3.4 CNN 모델을 이용한 이면비드 발생 예측 모델

3.4.1 GMA 초층용접에서 이면비드 발생 예측을 위한 CNN 모델

본 연구는 2.2절 용접 조건에서 진행되는 25 mm 두께 SM490 맞대기 V형 그루브 GMA 초층용접의 이면비드 발생을 예측하는 CNN모델을 제작하였다. Fig. 8Table 2는 비드 형상 정보 습득부터 이면비드 발생 예측까지의 모델 구조를 보여주고, 입력 변수부터 출력 변수까지의 각 층에 대한 정보를 나타낸다. CNN 모델 학습에 사용된 입력 변수는 7,422 개의 Class 1 비드 형상 정보에서 5,000 개, 5,451 개의 Class 0 비드 형상 정보에서 5,000 개, 총 10,000 개 무작위 추출하였다. 무작위로 추출된 10,000 개의 데이터에서 모델 학습을 위한 학습 데이터 (training dataset)는 6,000 개, 모델의 학습 정도를 평가하는 검증 데이터 (validation dataset)는 2,000 개, 모델의 예측 정확도를 평가하기 위한 테스트 데이터 (test dataset)는 2,000 개의 데이터로 분류하였다. 분류된 용접부 비드 형상 정보를 입력 변수로 활용하여 3 개의 합성곱 층과 2 개의 풀링 층에서 연산을 진행하는 CNN 모델을 구성하였다. 합성곱 층에서 커널 (kernel)은 3 × 3 pixel을 사용하였으며 커널을 움직이는 크기인 스트라이드 (stride)는 1 pixel로 선정하였다. 풀링 층은 최대 풀링 층 (max pooling layer)을 이용하였고 풀링을 위한 필터는 2 × 2 pixel과 스트라이드는 2 pixel로 선정하였다. CNN 모델의 출력 변수는 결과 값이 Class 1과 Class 0인 분류학습으로 진행되었다. 활성 함수 (activation function)로는 ReLU와 softmax 을 사용하였다. 학습이 진행되는 학습 데이터에 한정하여 정확도가 높아지고 검증 데이터 혹은 테스트 데이터에 대하여 오작동의 원인이 되는 과대 적합 (over fitting)을 방지하기 위하여 인공신경망의 일부를 사용하지 않는 드롭 아웃 (drop out)을 30 %로 진행하였다. CNN 모델 학습 횟수는 100회 반복으로 선정하였다.

Fig. 8

CNN based back-bead prediction model structure

CNN layer information

활성함수 이외에 본 CNN 모델에 사용된 함수는 3 가지를 활용하였다. 가중치의 최적 값을 찾아 학습의 진행에 도움을 주는 최적화 함수인 adam을 사용하였으며, 예측 값과 실제 값과의 차이를 표현하는 지표로서 사용할 수 있는 손실 함수 (loss function)로 cross entropy를 사용하였다. 마지막으로 모델의 성능을 평가할 수 있는 측정항목인 metrics는 accuracy를 이용하여 모델을 평가하였다.

3.4.2 CNN 모델 학습 평가

무작위로 추출한 10,000 개의 비드 형상 정보에 대해 분류학습을 진행한 결과, 학습 데이터의 정확도 (accuracy)는 0.994, 손실 (loss)은 0.0002이며 검증 데이터의 정확도는 0.993, 손실은 0.0070이다. Fig. 9는 학습 데이터와 검증 데이터의 학습된 과정을 보여준다. 정확도는 학습이 진행됨에 따라 모델의 정확도가 증가하며 1에 가깝게 수렴하고 있다. 그리고, 손실은 손실 값이 학습 횟수가 증가함에 따라 0에 가깝게 수렴하려는 모습을 보이며, 본 모델에서 과대적합이 발생하지 않았음을 의미한다.

Fig. 9

Curve of accuracy and loss

테스트 데이터는 Fig. 10의 혼돈행렬 (confusion matrix)의 정보를 이용한 Table 3의 정확도, 정밀도 (Precision), 재현율 (Recall), F1-score의 계산 결과 이용해 평가할 수 있다. 정확도란 전체 데이터 중에서 올바른 예측의 비율이며, 모델이 얼마나 정확한지 평가하는 척도이며, 본 모델에서의 정확도는 99.5 %이다. 테스트 데이터 2000 개 중 10 개의 데이터에 대하여 예측 오류가 발생하였고, 실제로 이면비드가 발생한 구간에서 발생하지 않는 구간, 이면비드가 발생하지 않은 구간에서 발생한 구간으로 변화할 때 예측의 오류가 생긴 것으로 판단된다. 정밀도는 모델이 Class 1이라 예측한 경우 중 비드 형상 정보가 실제로 Class 1인 경우이며, 재현율은 비드 형상 정보가 실제로 Class 1인 경우중 모델이 Class 1이라 예측한 비율이다. 따라서 정밀도는 99.7 %, 재현율은 99.3 % 이다. F1-score는 정밀도와 재현율의 조화평균으로 99.5 % 이다. 정확도, 정밀도, 재현율, F1-score에 근거하여 본 연구에서 제작한 CNN 모델은 초층용접에서 이면비드 발생을 예측하는데 적합한 모델이라 평가할 수 있다.

Fig. 10

Confusion matrix of test dataset

Learning performance of back-bead prediction CNN model

4. 결 론

본 연구는 맞대기 V형 그루브의 GMA 초층용접 공정에서 이면비드 발생 예측을 위한 CNN 모델을 개발하였다.

  • 1) 용접 소재 두께 25 mm의 SM490 소재에서 개선각 60°, 루트면 3 mm V 형 그루브 조인트 형상을 적용하였다. 이와 같은 그루브 형상에서 GMA 초층용접을 와이어 송급속도 12 m/min, 용접속도 30 cm/min, CTWD 25 mm를 고정하고, 루트 간격과 용접 전압을 변경하여 용접 시험편을 제작하였다.

  • 2) 용접 시험편에서 레이저 비전 센서 시스템을 이용하여 상면 비드 형상 정보를 추출하였고, 추출된 상면 비드 형상 정보는 이면비드 발생을 예측하기 위한 CNN 모델의 입력 변수로 구축하였다.

  • 3) CNN 모델의 연산속도를 향상 시키기 위해서 비드 형상 정보의 크기 및 회색도를 수정하였으며, threshold 과정을 통해 입력 변수를 전처리하였다. 3개의 합성곱 층과 2개의 풀링 층으로 구성된 CNN 모델을 채택하였으며 입력 변수에 대하여 분류 학습을 진행하였다.

  • 4) 용접부 이면비드 발생을 예측하는 CNN 모델의 예측 정확도가 99.5 %이었다.

  • 5) 개발한 CNN 모델은 위에서 제시한 용접조인트 및 용접 조건에서 이면비드 발생 여부를 예측하는 모델로 적합한 모델이라 평가할 수 있다.

  • 6) 본 연구에서 제시한 맞대기 V형 그루브 형상과 동일한 경우, 용접 전류, 전압, 용접속도 등과 같은 용접 조건의 변화는 상면 비드 형상 변화에 영향을 미치며, 개발한 CNN 모델의 학습과정을 통해 다양한 용접조건 변화에서도 이면비드 발생을 예측할 수 있을 것으로 판단된다.

본 연구에서는 CNN 모델과 레이저 비전 센서 시스템에서 추출한 비드 형상 정보의 유효성을 검증할 수 있었다. 향후에는 실시간 용접 중에 레이저 비전 센서 시스템을 이용하여 상면 비드 형상 정보를 취득하고, 취득된 상면 비드 형상 정보를 활용한 실시간으로 이면비드 예측 모델을 개발 할 예정이다.

감사의 글

본 논문은 한국생산기술연구원 기관주요사업 “완전용입 동적변수 제어 스마트 용접시스템 모듈 개발(kitech EH-21-0003)”의 지원으로 수행한 연구입니다.

References

1. Khanna P, Maheshwari S. Development of Mathematical Models for Prediction and Control of Weld Bead Dimensions in MIG Welding of Stainless Steel 409M. Mater. Today:Proceedings 5(2)2018;:4475–4488. https://doi.org/10.1016/j.matpr.2017.12.017.
2. Lee K. M, Sim H. W, Kwon J. H, Yoon B. D, Jeong M. K, Park M. S, Lee B. Y. A Prediction of the Penetration Depth on CO2Arc Welding of Steel Sheet Lap Joint with Fillet for Car Body using Multiple Regression Analysis Technique. J. Korean Weld. Join. Soc 30(2)2012;:59–64. https://doi.org/10.5781/KWJS.2012.30.2.163.
3. Kim I. S, Park M. H, Kim H. H, Lee J. P, Park C. K, Shim J. Y. An Experimental Study on Mathematical Model to Predict Bead Width in GMA Weldment. J. Korean Soc. Precis. Eng 32(2)2015;:209–217. https://doi.org/10.7736/KSPE.2015.32.2.209.
4. Park M. H, Kim I. S, Lee J. H, Lee J. P, Kim Y. S, Na S. O. An Experimental Study on Prediction of Bead Geometry for GTA Multi-pass Welding in Underhead Position. J. Korean Weld. Join. Soc 32(1)2014;:53–60. https://doi.org/10.5781/JWJ.2014.32.1.53.
5. Lee J, Um K. A prediction of welding process pa- rameters by prediction of back-bead geometry. J. Mater. Process. Technol 108(1)2000;:106–113. https://doi.org/10.1016/S0924-0136(00)00736-6.
6. Kanti K. M, Rao P. S. Prediction of bead geometry in pulsed GMA welding using back propagation neural network. J. Mater. Process. Technol 200(1-3)2008;:300–305. https://doi.org/10.1016/j.jmatprotec.2007.09.034.
7. Yin L, Wang J, Hu H, Han S, Zhang Y. Pre- diction of weld formation in 5083 aluminum alloy by twin-wire CMT welding based on deep learning. Weld. World 63(4)2019;:947–955. https://doi.org/10.1007/s40194-019-00726-z.
8. Oh W. B, Kim I. S, Yun T. J, Lee B. R, Lee C. W, Park K. Y, Jin B. J, Lee Y. C. A Study on the Prediction of Real-Time Bead Width Using a DNN Algorithm in GTA Welding. J. Weld. Join 38(6)2020;:593–601. https://doi.org/10.5781/JWJ.2020.38.6.10.
9. Jin C, Shin S, Yu J, Rhee S. Prediction Model for Back-Bead Monitoring During Gas Metal Arc Welding Using Supervised Deep Learning. IEEE Access 82020;:224044–224058. https://doi.org/10.1109/ACCESS.2020.3041274.
10. Jin C, Park S, Rhee S. Spectrogram Based Detection Algorithm for Back-Bead in Gas Metal Arc Welding Process using Convolution Neural Network. J. Weld. Join 39(2)2021;:198–205. https://doi.org/10.5781/JWJ.2021.39.2.9.
11. Martínez R. T, Bestard G. A, Silva A. M. A, Alfaro S. C. A. Analysis of GMAW process with deep learning and machine learning techniques. J. Manuf. Process 622021;:695–703. https://doi.org/10.1016/j.jmapro.2020.12.052.
12. Jiao W, Wang Q, Cheng Y, Zhang Y. End-to- end prediction of weld penetration:A deep learning and transfer learning based method. J. Manuf. Process 632021;:191–197. https://doi.org/10.1016/j.jmapro.2020.01.044.
13. Nomura K, Fukushima K, Matsumura T, Asai S. Burn-through prediction and weld depth estimation by deep learning model monitoring the molten pool in gas metal arc welding with gap fluctuation. J. Manuf. Process 612021;:590–600. https://doi.org/10.1016/j.jmapro.2020.10.019.
14. Xia C, Pan Z, Fei Z, Zhang S, Li H. Vision based defects detection for Keyhole TIG welding using deep learning with visual explanation. J. Manuf. Process 562020;:845–855. https://doi.org/10.1016/j.jmapro.2020.05.033.
15. AWS, AWS. D1. 1/D1. 1M-Structural Welding Code-Steel, American Welding Society, USA 2006;:73–111.

Article information Continued

Fig. 1

Welding joint schematic

Fig. 2

Laser vision sensor system schematic and appearance

Table 1

Laser vision sensor system specification

Specification Value
Resolution (mm) X-axis: 0.02
Z-axis: 0.02
Measurement (mm) Width: 45
Depth: 38
Frame rates (FPS) 100

Fig. 3

Example of bead profile by laser vision sensor system

Fig. 4

Welding bead appearances according to experimental conditions

Fig. 5

Bead profile classification

Fig. 6

Preprocessing of bead profile

Fig. 7

Bead profile resizing and threshold procedure

Table 2

CNN layer information

Layer Type Out Shape (Parameter) Number of Parameters Arguments
0 Input 125 × 100
1 Conv2D 123 × 98 320 Filter=32, Size=3 × 3, stride=1
2 Max_pooling2D 61 × 49 Size=2 × 2, stride=2
3 Conv2D_1 59 × 47 18,496 Filter=64, Size=3 × 3, stride=1
4 Max_pooling2D_1 29 × 23 Size=2 × 2, stride=2
5 Conv2D_2 27 × 21 73,856 Filter=128, Size=3 × 3, stride=1
6 Flatten 72576
7 Dense 128 9,289,856 Activation=ReLU
8 Dropout 128 Probability=0.3
9 Dense_1 2 258 Activation=Softmax

Fig. 8

CNN based back-bead prediction model structure

Fig. 9

Curve of accuracy and loss

Table 3

Learning performance of back-bead prediction CNN model

Class Actual number Correct estimation Error Accuracy Precision Recall F1-score
Class 1 1,004 997 7 99.5% 99.7% 99.3% 99.5%
Class 0 996 993 3

Fig. 10

Confusion matrix of test dataset