Trong tình cảnh mà toàn thế giới vẫn chưa thoát khỏi tình trạng COVID-19, và cũng như trong hoàn cảnh thực tế hiện tại của các hệ thống tự động hóa cần nhân lực có trình độ cao để xử lý khi có vấn đề, việc xây dựng 1 cơ sở hạ tầng mạng tối thiểu để có thể xử lý các vấn đề từ xa là vô cùng cần thiết.
Đặt bạn vào tình cảnh thế này: bạn là kỹ sư tự động chính của nhà máy. Bạn đang trong giấc ngủ yên buổi đêm trong kì nghỉ mùa hè tại 1 bãi biển xa xôi nào đấy, và nhận được cuộc gọi của sếp: “Dậy đi em ơi, nhà máy có sự cố rồi, cần hỗ trợ gấp gấp. 1 giờ ngưng hệ thống là 10 ngàn USD ra đi. Gấp gấp gấp.” Đối với các kỹ sự tự động hóa cũng như các quản lý trong nhà máy, cảnh này chắc chắn không hề lạ. Trong chuyến đi xuyên Việt của Hùng kéo dài 1 tháng, 1 trong những vấn đề được nhắc tới đối với ban lãnh đạo nhà máy là khi có sự cố thì triệu hồi về như thế nào nhanh nhất có thể. Với vai trò kỹ sư tự động hóa, bạn sẽ
Không tai, không mắt, không thông tin ở ngoài hiện trường. Đó là vấn đề đầu tiên của kỹ sư tự động khi gặp vấn đề. Bạn gào vào điện thoại, yêu cầu người đầu bên kia làm công việc A, sau đó họ báo cáo A không thành công. Bạn ước đoán, thử B xem. B không thành công. Thử tiếp C xem, dạ C cũng không được anh ơi. Bạn bối rối, vò đầu bứt tai. Thôi chắc kiểu này phải hủy bỏ kì nghỉ để chạy về xử lý rồi
Bạn nhớ ra rằng, từ chỗ bạn đang ở tới nhà máy mất khoảng 8 tiếng di chuyển, với chuyến xe gần nhất là sáng ngày hôm sau. Bạn nhớ ra rằng, trước cửa nhà bạn có 4 chốt chặn covid, và 10 ngàn USD một giờ của nhà máy cũng không cho phép bạn thông chốt với anh bộ đội được.
Trong nhiều tình huống, việc xử lý bằng phương pháp đi lại là không khả thi và quá mệt mỏi. Việc di chuyển nhiều khi cũng mang lại nguy hiểm cho người kỹ sư. Mình có 1 anh đồng nghiệp, tự di chuyển ban đêm tới nhà máy để hỗ trợ xử lý sự cố và bị tai nạn, vì thế mình cũng không khuyến khích việc di chuyển, kể cả có thể. Thôi chỉ còn quay lại cách gọi mà thôi.
Hết cách, bạn bắt đầu gọi vào nhà máy bằng công cụ video call và hướng dẫn trực tiếp để người bên kia có thể bắt đầu thực thiện công việc. Quay lại từ đầu,dự kiến với các bước A, B, C như vừa nãy. Bạn hướng dẫn, vừa gọi vừa nói với người bên kia, quay camera các kiểu. 30 phút sau, bạn test bước A và thấy không hiệu quả, chuyển qua bước B. Bạn phát hiện ra rằng, bước B đã không được thực hiện đúng như bạn mong muốn. Đầu dây bên kia họ không hiểu mong muốn thực hiện của bạn, dẫn đến chuẩn đoán sai.
Thôi ít nhất là bạn biết bước B là giải pháp.
Để xử lý được bước B, bạn cần có 1 máy tính, kết nối với PLC của dây chuyền, và sự khó khăn bây giờ mới là bắt đầu.
Trong các nhà máy bình thường, sẽ luôn có mạng nội bộ của nhà, bảo mật qua firewall. Các máy móc, thiết bị trong tình huống bình thường sẽ không được kết nối với mạng nhà máy để đảm bảo bảo mật. Các kỹ sư sẽ được phát máy tính / laptop cài sẵn các phần mềm cho PLC để kết nối trong trường hợp cần sửa chữa (Engineering Workstation - EWS). Các máy EWS thường cũng sẽ không được kết nối mạng vì sẽ phải kết nối với PLC của nhà máy.
Đặt bạn vào tình cảnh thế này: bạn là kỹ sư tự động chính của nhà máy. Bạn đang trong giấc ngủ yên buổi đêm trong kì nghỉ mùa hè tại 1 bãi biển xa xôi nào đấy, và nhận được cuộc gọi của sếp: “Dậy đi em ơi, nhà máy có sự cố rồi, cần hỗ trợ gấp gấp. 1 giờ ngưng hệ thống là 10 ngàn USD ra đi. Gấp gấp gấp.” Đối với các kỹ sự tự động hóa cũng như các quản lý trong nhà máy, cảnh này chắc chắn không hề lạ. Trong chuyến đi xuyên Việt của Hùng kéo dài 1 tháng, 1 trong những vấn đề được nhắc tới đối với ban lãnh đạo nhà máy là khi có sự cố thì triệu hồi về như thế nào nhanh nhất có thể. Với vai trò kỹ sư tự động hóa, bạn sẽ
Không tai, không mắt, không thông tin ở ngoài hiện trường. Đó là vấn đề đầu tiên của kỹ sư tự động khi gặp vấn đề. Bạn gào vào điện thoại, yêu cầu người đầu bên kia làm công việc A, sau đó họ báo cáo A không thành công. Bạn ước đoán, thử B xem. B không thành công. Thử tiếp C xem, dạ C cũng không được anh ơi. Bạn bối rối, vò đầu bứt tai. Thôi chắc kiểu này phải hủy bỏ kì nghỉ để chạy về xử lý rồi
Bạn nhớ ra rằng, từ chỗ bạn đang ở tới nhà máy mất khoảng 8 tiếng di chuyển, với chuyến xe gần nhất là sáng ngày hôm sau. Bạn nhớ ra rằng, trước cửa nhà bạn có 4 chốt chặn covid, và 10 ngàn USD một giờ của nhà máy cũng không cho phép bạn thông chốt với anh bộ đội được.
Trong nhiều tình huống, việc xử lý bằng phương pháp đi lại là không khả thi và quá mệt mỏi. Việc di chuyển nhiều khi cũng mang lại nguy hiểm cho người kỹ sư. Mình có 1 anh đồng nghiệp, tự di chuyển ban đêm tới nhà máy để hỗ trợ xử lý sự cố và bị tai nạn, vì thế mình cũng không khuyến khích việc di chuyển, kể cả có thể. Thôi chỉ còn quay lại cách gọi mà thôi.
Hết cách, bạn bắt đầu gọi vào nhà máy bằng công cụ video call và hướng dẫn trực tiếp để người bên kia có thể bắt đầu thực thiện công việc. Quay lại từ đầu,dự kiến với các bước A, B, C như vừa nãy. Bạn hướng dẫn, vừa gọi vừa nói với người bên kia, quay camera các kiểu. 30 phút sau, bạn test bước A và thấy không hiệu quả, chuyển qua bước B. Bạn phát hiện ra rằng, bước B đã không được thực hiện đúng như bạn mong muốn. Đầu dây bên kia họ không hiểu mong muốn thực hiện của bạn, dẫn đến chuẩn đoán sai.
Thôi ít nhất là bạn biết bước B là giải pháp.
Để xử lý được bước B, bạn cần có 1 máy tính, kết nối với PLC của dây chuyền, và sự khó khăn bây giờ mới là bắt đầu.
Trong các nhà máy bình thường, sẽ luôn có mạng nội bộ của nhà, bảo mật qua firewall. Các máy móc, thiết bị trong tình huống bình thường sẽ không được kết nối với mạng nhà máy để đảm bảo bảo mật. Các kỹ sư sẽ được phát máy tính / laptop cài sẵn các phần mềm cho PLC để kết nối trong trường hợp cần sửa chữa (Engineering Workstation - EWS). Các máy EWS thường cũng sẽ không được kết nối mạng vì sẽ phải kết nối với PLC của nhà máy.
Về mặt bảo mật, mô hình này đúng là rất an toàn khi không có Máy móc kết nối với network, và chỉ có người ở tại máy đó, có kết nối vật lý mới có thể điều khiển được máy. Cấu trúc mạng này bỏ qua toàn bộ ưu điểm của các thiết bị kết nối thông tin, và không khai thác dữ liệu sản xuất phục vụ tối ưu hóa được.
Khi cần có support từ xa, chuyên gia từ xa (bạn) phải sử dụng điện thoại, gọi vào trong nhà máy, và chỉ nhân sự tại nhà máy làm từng bước một. Việc này rất chậm và khó khăn, vì hình ảnh trong điện thoại quay ra không thể đọc nổi với chương trình PLC, cũng như việc thao tác bằng cách nói cho người trên điện thoại thực sự là 1 ác mộng. Có thể mình không phải là người 1 kiên nhẫn, nhưng mà 1 bên là áp lực phải sửa máy nhanh, 1 bên là áp lực trí não để tìm ra nguyên nhân, lại thêm 1 ông nói mà nghe không hiểu nữa thì mình đập điện thoại liền.
Thời gian để xử lý sự cố bằng cách này, thường nằm khoảng 6-10 tiếng vì mức độ khó khăn của nó, và phụ thuộc rất lớn vào kỹ năng của nhân sự trong nhà máy.
Để xử lý cách này, nhiều kỹ sư chơi phương pháp lậu như sau:
Khi cần có support từ xa, chuyên gia từ xa (bạn) phải sử dụng điện thoại, gọi vào trong nhà máy, và chỉ nhân sự tại nhà máy làm từng bước một. Việc này rất chậm và khó khăn, vì hình ảnh trong điện thoại quay ra không thể đọc nổi với chương trình PLC, cũng như việc thao tác bằng cách nói cho người trên điện thoại thực sự là 1 ác mộng. Có thể mình không phải là người 1 kiên nhẫn, nhưng mà 1 bên là áp lực phải sửa máy nhanh, 1 bên là áp lực trí não để tìm ra nguyên nhân, lại thêm 1 ông nói mà nghe không hiểu nữa thì mình đập điện thoại liền.
Thời gian để xử lý sự cố bằng cách này, thường nằm khoảng 6-10 tiếng vì mức độ khó khăn của nó, và phụ thuộc rất lớn vào kỹ năng của nhân sự trong nhà máy.
Để xử lý cách này, nhiều kỹ sư chơi phương pháp lậu như sau:
Kết nối máy tính EWS với điện thoại có bật chế độ phát Data (HOTSPOT) lên, sau đó cài các phần mềm kết nối hỗ trợ từ xa như Teamviewer vào. Ở đầu bên kia, chuyên gia từ xa cũng cài teamviewer trên điện thoại và máy tính, trực tiếp chat, nhìn màn hình, sử dụng phần mềm với nhân sự tại nhà máy để xử lý vấn đề. Ở góc độ kỹ sư thì đây là cách làm đơn giản và hiệu quả nhất, khi có thể kết nối với nhiều chuyên gia khác nhau, điều chỉnh mọi thứ từ xa với tốc độ chấp nhận được, xử lý được công việc nhanh nhất có thể.
Bạn nghĩ, bài viết này đến đây chắc là hết. Dùng teamviewer, bật 4G lên là hết bài, và từ đó bạn có thể ăn ngon ngủ yên. Nhưng không, đời không bao giờ như là mơ vậy hết.
Trong các nhà máy, luôn luôn tồn tại 1 đội ngũ IT sừng sỏ. IT luôn luôn ghét việc cài các phầm mềm không có sự kiểm soát như Teamviewer và kết nối vào hệ thống của nhà máy. Các máy EWS thường cũng hay có các admin privileges, nếu người nhân sự tại nhà máy cắm EWS vào Mạng factory network, toàn bộ network sẽ có thể bị hở ra bên ngoài, đi qua đường của teamviewer. Khi đó, việc tấn công mạng nhà máy sẽ vô cùng dễ dàng. Và vì thế, cách sử dụng teamviewer thường được coi là cách làm lậu, qua mặt IT và không được khuyến khích sử dụng. Các bộ phận IT cũng sẽ thường không cho phép cài Teamviewer lên máy tính thuộc tài sản công ty.
Bạn nghĩ, bài viết này đến đây chắc là hết. Dùng teamviewer, bật 4G lên là hết bài, và từ đó bạn có thể ăn ngon ngủ yên. Nhưng không, đời không bao giờ như là mơ vậy hết.
Trong các nhà máy, luôn luôn tồn tại 1 đội ngũ IT sừng sỏ. IT luôn luôn ghét việc cài các phầm mềm không có sự kiểm soát như Teamviewer và kết nối vào hệ thống của nhà máy. Các máy EWS thường cũng hay có các admin privileges, nếu người nhân sự tại nhà máy cắm EWS vào Mạng factory network, toàn bộ network sẽ có thể bị hở ra bên ngoài, đi qua đường của teamviewer. Khi đó, việc tấn công mạng nhà máy sẽ vô cùng dễ dàng. Và vì thế, cách sử dụng teamviewer thường được coi là cách làm lậu, qua mặt IT và không được khuyến khích sử dụng. Các bộ phận IT cũng sẽ thường không cho phép cài Teamviewer lên máy tính thuộc tài sản công ty.
Với tình huống như vậy, ở nhà máy chẳng lẽ bó tay, đợi chuyên gia tới thì sửa, không thì ngồi chơi nhìn tiền bay theo gió mây phất phới ?
Các kỹ sư tự động hóa và các hãng, làm việc với nhau để đưa ra giải pháp ở giữa, và được các bộ phận IT chấp nhận, đó là sử dụng các Remote Access Router. Bản chất của Remote Access Router là cho phép hệ thống mạng của PLC được kết nối trực tiếp lên 1 Cloud VPN. Khi chuyên gia từ xa kết nối vào cloud VPN này, họ sẽ có thể kết nối trực tiếp tới toàn bộ các thiết bị lớp dưới của Router này. Các đường truyền VPN này được bảo mật và bị giới hạn, và vì thế sẽ dễ dàng được IT đồng ý cho sử dụng với các kết nối vào mạng nhà máy. Khi sử dụng giải pháp này, nhân sự tại nhà máy cũng sẽ không phải bị dính vào Engineering Workstation nữa, mà sẽ được điều động xuống thẳng vị trí cần được sửa chữa để kiểm tra, vận hành và chạy thử lại hệ thống. Việc này giúp giảm 1 phần lượng nhân sự cần thiết để sửa chữa hệ thống.
Các kỹ sư tự động hóa và các hãng, làm việc với nhau để đưa ra giải pháp ở giữa, và được các bộ phận IT chấp nhận, đó là sử dụng các Remote Access Router. Bản chất của Remote Access Router là cho phép hệ thống mạng của PLC được kết nối trực tiếp lên 1 Cloud VPN. Khi chuyên gia từ xa kết nối vào cloud VPN này, họ sẽ có thể kết nối trực tiếp tới toàn bộ các thiết bị lớp dưới của Router này. Các đường truyền VPN này được bảo mật và bị giới hạn, và vì thế sẽ dễ dàng được IT đồng ý cho sử dụng với các kết nối vào mạng nhà máy. Khi sử dụng giải pháp này, nhân sự tại nhà máy cũng sẽ không phải bị dính vào Engineering Workstation nữa, mà sẽ được điều động xuống thẳng vị trí cần được sửa chữa để kiểm tra, vận hành và chạy thử lại hệ thống. Việc này giúp giảm 1 phần lượng nhân sự cần thiết để sửa chữa hệ thống.
Với hoàn cảnh hiện tại khi covid hoành hành, việc giảm thiểu thời gian và chi phí di chuyển cho chuyên gia là điều bắt buộc, vì thế hầu như tất cả các nhà sản xuất máy và tích hợp hệ thống trên thế giới đều chuyển dịch sang hướng tích hợp Remote Access Router trong giải pháp của mình, hỗ trợ rất lớn trong quá trình chạy thử máy cũng như duy trì cho vận hành sau này. Tuy nhiên, để được bộ phận IT của các nhà máy chấp nhận, Remote Access Router vẫn cần phải đến từ 1 hãng lớn có tên tuổi và kinh nghiệm về lĩnh vực hạ tầng mạng và bảo mật cung cấp, vì nếu gặp 1 hãng và tên tuổi không rõ ràng thì sẽ gặp nhiều rủi ro cao. Trong hình mình đang để là Remote Access Router - Stratix 4300 của Rockwell Automation với Cloud là FactoryTalk Hub. Dân trong nghề thì không lạ với thương hiệu Stratix, sản phẩm chung của Rockwell Automation và Cisco Network rồi.
Với nhiều doanh nghiệp lớn, hệ thống mạng sẽ hoàn thiện hơn. Khi đó ở trong nội bộ nhà máy, các PLC sẽ được kết nối qua 1 mạng LAN hoặc VLAN riêng, sau đó được lọc qua Firewall để có thể kết nối chung với mạng văn phòng nhà máy. Cấu trúc này cho phép việc khai thác dữ liệu sản xuất phục vụ cho các nhu cầu quản trị , tối ưu hóa trên nền MES / ERP có thể xảy ra. Khi đó, mạng nhà máy sẽ được thiết kế với cấu trúc như sau:
Với nhiều doanh nghiệp lớn, hệ thống mạng sẽ hoàn thiện hơn. Khi đó ở trong nội bộ nhà máy, các PLC sẽ được kết nối qua 1 mạng LAN hoặc VLAN riêng, sau đó được lọc qua Firewall để có thể kết nối chung với mạng văn phòng nhà máy. Cấu trúc này cho phép việc khai thác dữ liệu sản xuất phục vụ cho các nhu cầu quản trị , tối ưu hóa trên nền MES / ERP có thể xảy ra. Khi đó, mạng nhà máy sẽ được thiết kế với cấu trúc như sau:
Điển hình của kiểu kiến trúc mạng này là CPwE (Converged Plantwide Ethernet) dành cho việc gộp chung hệ thống mạng IT / OT với nhau. CPwE là cấu trúc mạng mà CISCO và Rockwell Automation cùng phát triển
Khi đó, hệ thống máy tính EWS sẽ được tích hợp hoặc ở trên tầng Factory Network hoặc ở tầng Automation Network. Lúc đó, để xử lý vấn đề từ xa, bạn cần sử dụng VPN để vào được network công ty và remote control máy EWS đã được kết nối sẵn với các PLC trong hệ thống.
Cách làm này về bản chất là chuẩn mực nhất. Tuy nhiên, để triển khai, cấu hình được hạ tầng hệ thống mạng theo chuẩn để thực hiện được việc này thì không hề đơn giản. CPwE nhìn thì thấy dễ, nhưng khi triển khai thì không hề. Mình đã triển khai network cho 1 tập đoàn toàn cầu, và làm theo hướng dẫn của tập đoàn, không theo chuẩn CPwE. Khi sử dụng thì có thể kết nối với tất cả PLC, tuy nhiên với thiết bị được network với PLC (biến tần, HMI, flowmeter) thì vẫn còn nhiều khó khăn, dẫn tới đôi khi không xử lý được công việc
Và việc cấp quyền cho chuyên gia từ xa sẽ bị giới hạn nhiều hơn cho chuyên gia nội bộ. Với các chuyên gia bên ngoài (OEM bán máy, System Integrator tích hợp hệ thống), việc xin cấp phép vào VPN trực tiếp của toàn nhà máy cũng sẽ là 1 khó khăn, vì bản chất là được cấp quyền vào toàn bộ OT network của nhà máy. Phía IT và OT cũng nên nhìn nhận rủi ro này trước khi cấp quyền cho bất kì 1 OEM hay SI nào.
Với góc nhìn đó, mình mình nghĩ một sự kết hợp cả Remote Access Router cho chuyên gia từ bên thứ 3 truy cập và VPN cho kỹ sư nội bộ truy cập là giải pháp tổng thể nhất.
Và việc cấp quyền cho chuyên gia từ xa sẽ bị giới hạn nhiều hơn cho chuyên gia nội bộ. Với các chuyên gia bên ngoài (OEM bán máy, System Integrator tích hợp hệ thống), việc xin cấp phép vào VPN trực tiếp của toàn nhà máy cũng sẽ là 1 khó khăn, vì bản chất là được cấp quyền vào toàn bộ OT network của nhà máy. Phía IT và OT cũng nên nhìn nhận rủi ro này trước khi cấp quyền cho bất kì 1 OEM hay SI nào.
Với góc nhìn đó, mình mình nghĩ một sự kết hợp cả Remote Access Router cho chuyên gia từ bên thứ 3 truy cập và VPN cho kỹ sư nội bộ truy cập là giải pháp tổng thể nhất.
Hi vọng bài viết sẽ hỗ trợ bạn phần nào trong việc triển khai hệ thống hỗ trợ từ xa, và không phải nửa đêm lọc cọc chạy xe vào nhà máy nữa.