ÇÊÀÚó·³ »çȸ°úÇÐÀ» ¿¬±¸ÇÏ´Â »ç¶÷¿¡°Ô ¼¿ïÀº Èï¹Ì·Î¿î µµ½Ã´Ù. ¿Â°® »õ·Î¿î Á¤Ã¥ÀÌ »õ·Ó°Ô ½ÇÇèÀÌ µÇ´Â µ¥´Ù ÇàÁ¤±¸¿ªÀÌ ¼¼ºÎÀûÀ¸·Î ³ª´©¾îÁ® ÀÖ¾î¼ ¼¼¹ÐÇÏ°Ô »çȸ Çö»óÀ» °üÂûÇÒ ¼ö ÀÖ´Â ±âȸ¸¦ Á¦°øÇϱ⠶§¹®ÀÌ´Ù.
¶Ç Çϳª °í¹«ÀûÀÎ »ç½ÇÀº ¼¿ï½Ã³ª Çѱ¹ Á¤ºÎ³ª ´õ ¸¹Àº µ¥ÀÌÅ͸¦ ¿ÜºÎ¿¡ °ø°³ÇÏ·Á°í ³ë·ÂÇÏ°í ÀÖ´Ù´Â Á¡ÀÌ´Ù. ¹Ú¿ø¼ø ½ÃÀå, ¹Ú±ÙÇý Á¤ºÎ ÃëÀÓ ÀÌ·¡ Á¤ºÎ 3.0ÀÇ ±âÄ¡¿¡ µû¶ó µ¥ÀÌÅÍ °ø°³¿Í °øÀ¯°¡ °Á¶µÇ°í ÀÖ´Ù. °ø°³µÈ ÀÚ·á°¡ ¿øÈ°È÷ È°¿ëµÈ´Ù¸é, À̸¦ ÅëÇؼ ½Ã¹ÎµéÀÇ ¾Ë ±Ç¸®°¡ ÃæÁ·µÇ°í, Á¤ºÎ Åõ¸í¼º°ú Ã¥ÀÓ¼ºÀÌ °ÈµÉ ¼ö ÀÖÀ» °ÍÀÌ´Ù.
±×·¯³ª ±×·± ±â´ë°¡ ÃæÁ·µÇ±â À§Çؼ´Â µ¥ÀÌÅÍ °ø°³ÀÇ ¾çÀ» ´Ã¸®´Â °Í ¸øÁö ¾Ê°Ô ¼Õ½±°Ô È°¿ëµÉ ¼ö ÀÖ´Â ÇüÅ·Πµ¥ÀÌÅÍ°¡ °ø°³µÇ´Â °Íµµ Áß¿äÇÏ´Ù. Áß¾Ó¼±°Å°ü¸®À§¿øȸÀÇ °ú°Å ¼±°Å Åë°è°¡ ´ëÇ¥ÀûÀε¥, ÀڷḦ °Ë»ö¸¸ ÇÒ ¼ö ÀÖÁö µû·Î ¿øµ¥ÀÌÅÍ(raw data) ÆÄÀÏÀ» °ø°³ÇÏÁö´Â ¾Ê¾Ò´Ù. ÀڷḦ ¼öÁýÇϱâ À§Çؼ´Â ÀÏÀÏÀÌ »çÀÌÆ®¿¡¼ ÀڷḦ ÃëÇÕÇϵ簡 ¾Æ´Ï¸é ÆÄÀ̽㠰°Àº ¼ÒÇÁÆ®¿þ¾î ¾ð¾î·Î ÀÚ·á ¼öÁý¿ë Å©·Ñ·¯(crawler)¸¦ ¸¸µé¾î¼ Àϸí À¥½ºÅ©·¹ÀÌÇÎ(web scraping)À» ÇØ¾ß ÇÑ´Ù.
¶ÇÇÑ ÀÌ·± Á¤ºÎ±â°ü¿¡¼ °ø°³ÇÏ´Â ÀÚ·áµéÀÇ ¹è¿ÀÌ ÀÏÄ¡ÇÏÁö ¾Ê´Â °Íµµ ¹®Á¦´Ù. ¼¿ï½Ã¿¡¼ Á¦°øÇÏ´Â µ¿º° »çȸ°æÁ¦Àû ÀÚ·á°¡ ¹è¿µÈ ¼ø¼¿Í Áß¾Ó¼±°üÀ§°¡ Á¦°øÇÏ´Â µ¿º° ÅõÇ¥À², Á¤´ç ÁöÁöÀ² °£ ÀÚ·áÀÇ ¼ø¼°¡ °°Áö ¾Ê´Ù. ÇØ´ç ÀڷḦ ÃëÇÕÇؼ È°¿ëÇÏ·Á´Â ½Ã¹ÎµéÀº ÀÌ·± ¹®Á¦¸¦ ÇØ°áÇϱâ À§Çؼ µ¥ÀÌÅ͸¦ Àç°¡°øÇÏ´Â ¼ö°í¸¦ ÇØ¾ß ÇÑ´Ù. ÀÌ·± ¹®Á¦´Â ¾ÖÃÊ¿¡ Á¤º¸¸¦ Á¦°øÇÏ´Â Ãø¿¡¼ ÅëÇÕµÈ ±âÁØ¿¡ µû¶ó ÀڷḦ Á¦°øÇß´Ù¸é ¼Õ½±°Ô ÇØ°áµÆÀ» ¹®Á¦¿´´Ù. ´õ ¸¹Àº ÀÚ·á °ø°³´Â ¿©ÀüÈ÷ Áß¿äÇÑ ¹®Á¦´Ù. 2000³â´ë ÀÌÀüÀÇ ÀÚ·á´Â ¾òÀ» ¼ö ¾ø´Â °ÍµéÀÌ ´ëºÎºÐÀÌ´Ù. ÁÁÀº µ¥ÀÌÅÍ´Â ÁÁÀº ¿¬±¸¿Í ÁÁÀº Á¤Ã¥ÀÇ ±âº»ÀÌ´Ù.
³ª¾Æ°¡ Á¤ºÎÀÇ ¿Àǵ¥ÀÌÅÍ Á¤Ã¥ ÁøÇà»óȲ¿¡ ´ëÇØ Áö¼ÓÀûÀ¸·Î Æò°¡¸¦ ÇØÁÙ ±â±¸µµ ÇÊ¿äÇÏ´Ù. °ø°ø µ¥ÀÌÅÍ°¡ ÇÊ¿äÇÑ »ç¶÷µéÀÇ Á¾·ù´Â ´Ù¾çÇÏ´Ù. ÀÌ·± µ¥ÀÌÅ͸¦ ¼ø¼öÇÑ È£±â½ÉÀ¸·Î µé¿©´Ùº¸´Â »ç¶÷µµ ÀÖÀ» °ÍÀÌ°í, ¿¬±¸ ¸ñÀûÀ¸·Î È°¿ëÇÏ°íÀÚ ÇÏ´Â »ç¶÷µµ ÀÖÀ» °ÍÀÌ´Ù. ½Ã¹Î´Üü µî¿¡¼´Â Á¤ºÎ¿¡ ´ëÇÑ °¨½ÃÀÇ ¸ñÀûÀ¸·Î, Á¤´ç¿¡¼´Â ¼±°ÅÀü·«À» ¼ö¸³Çϱâ À§Çؼ ÀÌ·± µ¥ÀÌÅÍ¿¡ °ü½ÉÀÌ ÀÖÀ» ¼ö ÀÖ´Ù. ±â¾÷¿¡¼µµ ÀڽŵéÀÌ °®°í ÀÖ´Â µ¥ÀÌÅÍ¿Í Á¾ÇÕÇÏ¿© °ø°ø µ¥ÀÌÅ͸¦ È°¿ëÇÏ°íÀÚ ÇÏ´Â ¸ñÀûÀÌ ÀÖÀ» ¼ö ÀÖ´Ù. ÀÌ·¯ÇÑ ´Ù¾çÇÑ ÀÌÇØ°ü°èÀÚµéÀÇ ÀÇ°ßÀ» ¼ö¿ëÇϸé¼, Á¤ºÎ ¼¼±ÝÀ¸·Î ¸¸µé¾îÁø µ¥ÀÌÅ͵éÀÌ ½Ã¹Îµé¿¡°Ô ÇýÅÃÀÌ °¡´Â ¹æÇâÀ¸·Î °ø°³µÉ ¼ö ÀÖµµ·Ï Á¤Ã¥À» ÁøÇàÇÏ´Â °Ô Áß¿äÇÏ´Ù.
±Ã±ØÀûÀ¸·Î ±¹°¡ ±â¹ÐÀ̳ª °³ÀÎÀÇ »ç»ýÈ°¿¡ ħÇظ¦ °¡ÇÒ ¼ö ÀÖ´Â Á¤º¸¸¦ Á¦¿ÜÇÏ°í ´ëºÎºÐÀÇ °ø°ø µ¥ÀÌÅÍ´Â °ø°³ÇÏ´Â °ÍÀÌ ¿øÄ¢ÀûÀ¸·Î ¸Â´Ù. ¹Ì±¹ ÀÇ¿øµéÀº °¢ ÀÇ¿øµéÀÌ ¹Þ´Â ¼±°ÅÀÚ±ÝÀÇ Ãâó´Â ¹°·Ð ´©±¸¿Í ¾ðÁ¦, ¾îµð¼ Á¡½ÉÀ» ¸Ô¾ú´ÂÁöµµ ´Ù °ø°³ÇÑ´Ù. ¹Ì±¹ ÀÇȸÁ¦µµÀÇ ¸ð¼ø°ú °·ÂÇÑ ÀÌÀÍÁý´Üµé·Î ÀÎÇØ ±Ý±ÇÁ¤Ä¡ÀÇ ¿µÇâ·ÂÀº ¿©ÀüÈ÷ °·ÂÇÏÁö¸¸, ÀÌ·± µ¥ÀÌÅÍ °ø°³°¡ ½Ã¹ÎµéÀÇ ÀÇȸ¿¡ ´ëÇÑ °¨½Ã´É·ÂÀ» °È½ÃÄÑÁÖ´Â °Íµµ »ç½ÇÀÌ´Ù.
¿¹¸¦ µé¾î, Çѱ¹ Á¤Ä¡¿¡¼ ²÷ÀÓ¾øÀÌ ¹®Á¦°¡ µÇ´Â °Í Áß¿¡ Çϳª´Â ±¹È¸ ¿¹»ê½ÉÀÇ ±â´ÉÀ» °ÅÄ¡Áö ¾Ê°í ÇàÁ¤ÀÚÄ¡ºÎ³ª ±³À°ºÎ¿¡¼ Áö¹æÀÇ ¼ö¿ä¿¡ µû¶ó Á÷Á¢ ¹èºÐÇØÁÙ ¼ö Àִ Ưº°±³ºÎ¼¼´Ù. ±×·¯³ª Á¤È®ÇÏ°Ô ÀÌ µ·ÀÌ ¾îµð¿¡, ¾î¶»°Ô ¾²¿´´ÂÁö´Â »ç½Ç È®ÀÎÇϱ⠾î·Æ´Ù. ±¹¹Î ¼¼±ÝÀÇ »ç¿ëó¿¡ ´ëÇؼ´Â ±¹¹ÎÀÌ ¾Ë ±Ç¸®°¡ ÀÖ´Ù. °ø°ø µ¥ÀÌÅÍÀÇ °ø°³¿Í °øÀ¯´Â ¸Â´Â ¹æÇâÀÌ´Ù. ±×·¯³ª ÀÌ Á¤Ã¥ÀÌ ½ÇÈ¿¼ºÀ» ´õ °®±â À§Çؼ´Â ¼ö¿äÀÚ ÀÔÀå¿¡¼ Á¤Ã¥À» ¼ö¸³ÇÏ°í ÁøÇàÇÏ°íÀÚ ÇÏ´Â ³ë·ÂÀÌ ÇÊ¿äÇÏ´Ù.
<±èÀ翬 ´ëÇлç¿ë¹ý ÀúÀÚ>