jS

$("#add").on("click", function() {
		var val = $("input").val();
		if(val !== '') {
			var elem = $("<li></li>").text(val);
			$(elem).append("<button class='rem'>X</button>");
			$("#mylist").append(elem);
			$("input").val("");
			$(".rem").on("click",function() {
			$(this).parent().remove();
			});
		}
	});

CSS

.rem {
    margin-left: 5px;
    background-color: white;
    color: red;
    border: none;
    cursor: pointer;
}

HTML

<h3>Мой ежедневник</h3>
<input type="text" placeholder="Введите запись" />
<button id="add">Добавить</button>
<ol id="mylist"></ol>

Работает только с новой версией jQuery