Blogs

19 Feb

สร้างสภาพแวดล้อมแบบเรียลไทม์เพื่อเฝ้าติดตามไฟล์ล็อกของคอนเทนเนอร์โดยใช้ Global ELK

Ayan-FImg

ทีมงานด้านเทคนิคของ Ashnik ออกแบบโซลูชันต่างๆ ที่สามารถนำไปใช้เพื่อแก้ปัญหาหลากหลายประเภทที่ธุรกิจต้องพบเจอ หนึ่งในโซลูชันที่น่าสนใจดังกล่าวซึ่งเราพัฒนาขึ้นให้มีความสามารถปรับขนาดตามการใช้งานได้ นั่นคือโซลูชันสำหรับเฝ้าติดตามไฟล์ล็อกของคอนเทนเนอร์แบบเรียลไทม์โดยใช้สแต็ก Global ELK ภายนอกคอนเทนเนอร์ Openshift แทนการใช้ EFK ภายในคอนเทนเนอร์ต่างๆ เพื่อแก้ปัญหาดังกล่าว และเราได้พัฒนาโซลูชันนี้ขึ้นเพื่อใช้เป็นสูตรสำเร็จสำหรับแก้ปัญหาที่คล้ายคลึงกันซึ่งเกิดขึ้นในสภาพแวดล้อมแบบต่างๆ ของลูกค้าแต่ละราย ความคับข้องใจที่สำคัญประการหนึ่งซึ่งเรามักได้ยินอยู่บ่อยครั้งคือลูกค้าไม่สามารถเก็บรวบรวมไฟล์ล็อกจากทุกศูนย์ข้อมูลมาไว้รวมกันได้ และโดยส่วนมากแล้ว ศูนย์ข้อมูลแต่ละแห่งก็จะมีคอนเทนเนอร์แตกต่างกัน และมีการติดตั้ง EFK (Elasticsearch, Fluentd, Kibana) แยกต่างหากเป็น Daemon Set ทำงานอยู่ในแต่ละคอนเทนเนอร์ ในกรณีเช่นนี้ สิ่งที่เกิดขึ้นก็คือมี EFK หลายชุดติดตั้งอยู่ในศูนย์ข้อมูลต่างๆ ซึ่งเป็นการสิ้นเปลืองต้นทุนอย่างมาก แต่ก็ยังไม่สามารถดูไฟล์ล็อกของคอนเทนเนอร์ทั้งหมดจากศูนย์กลางได้อยู่ดี ยิ่งไปกว่านั้น เนื่องจากฟีเจอร์ในการกรองของ Fluentd มีข้อจำกัด จึงอาจทำให้ไม่สามารถบันทึกรายละเอียดที่สำคัญทั้งหมดไว้ได้ ข้อดีของโซลูชันนี้ เราขจัดการพึ่งพา ELK บนแพลตฟอร์มคอนเทนเนอร์ออกไป โดยทำหน้าที่เป็นแพลตฟอร์ม Global ELK ซึ่งจะ ingest ข้อมูลจากศูนย์ข้อมูลหลายแห่งและคอนเทนเนอร์หลายรายการมาไว้รวมกันในแพลตฟอร์ม ELK แบบรวมศูนย์ ดังนั้นจึงมีต้นทุนน้อยมากและลดความจำเป็นในการบำรุงรักษาโครงสร้างพื้นฐานลง เนื่องจากใช้แพลตฟอร์ม ELK เพียงแพลตฟอร์มเดียวแทนที่จะใช้ EFK แยกกันในแต่ละคอนเทนเนอร์ การใช้ Logstash ทำให้ฟีเจอร์นี้สามารถใช้ปลั๊กอินตัวกรองได้มากกว่า 200 รายการ ซึ่งจะให้ข้อมูลเชิงลึกมากมายเกี่ยวกับธุรกิจในไฟล์ล็อกที่สร้างขึ้น และทำได้อย่างง่ายดายด้วย สถาปัตยกรรมในรูปแบบนี้สามารถปรับขนาดตามการใช้งานได้ง่ายและมีภูมิคุ้มกันต่อข้อผิดพลาด อีกทั้งสามารถจัดการได้จากส่วนกลางโดยไม่ต้องไปวุ่นวายกับคอนเทนเนอร์เลย ป้องกันคอนเทนเนอร์รีสตาร์ทบ่อยครั้งเมื่อมีการแก้ไขข้อมูลต้นทาง ระบบต้นทางคือคอนเทนเนอร์มีภาระน้อยมาก เพราะ Filebeat หรือ Metricbeat เป็นตัวจัดส่งข้อมูล (Data Shipper) ที่ใช้ทรัพยากรน้อยเมื่อเทียบกับ Fluentd แพลตฟอร์มนี้สามารถใช้เป็บเซอร์วิสทุกครั้งที่มีการเพิ่มคอนเทนเนอร์ใหม่ โซลูชันที่เราพัฒนา Ashnik ยังคงสร้างสรรค์นวัตกรรมการแก้ไขปัญหามาอย่างต่อเนื่อง […]

Ayandeep Das | Technical Specialist - ETL, Ashnik

19
Feb
Read more
19 Feb

Monolith To Microservices

Sachin-D-780PX

In my last article – Trends and Technologies: looking back to look ahead, I talked about the past and upcoming trends in infrastructure technologies – Computing power to Containerization. Now, let’s look at how application development and packaging have evolved, and, what are the key trends that you should watch out for… Monolith Applications Traditional application development has been termed as Monolith application for the reasons the way it is built. Entire application is one big mountain of code packaged together […]

Sachin Dabir | Founder & Director, Ashnik

19
Feb
Read more
17 Feb

PostgreSQL or EDB Postgres Advanced Server: Which is Right for You?

edb-Logo-125px

PostgreSQL is becoming more and more popular as an alternative choice of database in the enterprise. PostgreSQL is a relational database management system (DBMS) that has been an active open source project since 1996. It is one of the oldest and most stable open source projects as a result of the commitment of its members and its independence as a standalone community. But if you’re an enterprise, additional tools and capabilities are needed to run your mission-critical applications at scale. EnterpriseDB […]

EDB Postgres

17
Feb
Read more
17 Feb

Coronavirus Map and Live Data Tracker with MongoDB Charts

MongoDB-125Px

Too Long, Didn’t Read Thomas Rueckstiess and myself came up with two MongoDB Charts dashboards with the Coronavirus dataset. Check out Thomas’s dashboard. Check out Maxime’s dashboard. Here is an example of the charts we made using the Coronavirus dataset. More below and in the MongoDB Charts dashboards. Let The Data Speak We have to make decisions at work every day. Should we discontinue this project? Should we hire more people? Can we invest more in this branch? How much? Leaders make decisions. Great leaders make […]

Rajiv T | APAC Partner Director, MongoDB

17
Feb
Read more
21 Jan

5 trend digital teratas bagi 2020: hagaimana sumber terbuka akan memainkan peranan!

Deepti-DJ-780Px

Kita menghampiri suku akhir tahun ini dan tidak lama lagi menyambut 2020 – yang mana akan dijangka menjadi tahun yang sangat pantas. Era digital kini datang diiringi dengan perubahan baru, jenis pertama kali dalam teknologi, perniagaan dan masyarakat. Ini memerlukan pemimpin-pemimpin hari ini untuk melihat jauh daripada hanya pengurusan perniagaan, fokus pada perlaksanaan kesedaran dan penyesuaian pada transformasi besar dalam model perusahaan, amalan dan budaya di dalam pasukan mereka. Untuk beberapa tahun kebelakangan ini, kebanyakan perbincangan mengenai trend digital akan datang […]

Deepti Dilip J | Director – Marketing & Communications, Ashnik

21
Jan
Read more
21 Jan

EnterpriseDB Named a Challenger in the 2019 Gartner Magic Quadrant for Operational Database Management Systems

edb-Logo-125px

We’re delighted to share that Gartner has, for the seventh year in a row, recognized EDB in their most recent Magic Quadrant (MQ) for Operational Database Management Systems. EDB has been named in the MQ every year, and in 2019, is listed in the “Challengers Quadrant,” with the report citing the completeness of our vision and ability to execute as reasons for our positioning. This report is a great validation for us at what is an exciting moment for our company. […]

Frank Days | Vice President, Marketing, EDB

21
Jan
Read more