Hadoop framework was designed to be suitable for processing very large files. On the other hand, when processing the Small Files, it waste the resource of a distributed system, and occur performance degradation. It is shown noticeable the more the Small Files. This problem is caused by the Small Files, it can be solved through the merging of associated Small Files. But a way of merging of Small Files has some limited point. in this paper, examines existing limit of merging method, design

more »

... method Small Files for effective process. Ⅰ. 서 론 하둡은 다수의 컴퓨터를 네트워크로 연결한 시스템 에서 단순한 프로그래밍 모델을 이용하여 크기가 큰 데이터를 분산 처리하는 프레임워크[1]이다. 오늘날 하둡은 클라우드 기반의 센서 데이터 센터 역할 뿐만 아니라 다양한 분야에서 널리 사용되고 있다[2-4]. 하둡 프레임워크의 핵심 원리는 부하의 분산이며, 이러한 역할을 두 개의 컴포넌트; 하둡분산파일시스템 (HDFS : Hadoop Distributed File System)과 맵리듀 스(MapReduce)가 담당하고 있다. HDFS는 분산 시스템을 위한 파일시스템이며, 일반 http://dx.